热点追踪

用AI创造元宇宙,Meta发布最强3D素材生成模型,一分钟创造一个世界爱因斯坦预言,这种虫子若消失,人类也将灭绝!如今越看越有道理

发布时间:2024年07月12日 | 更新时间:2024-07-11 13:23 | 作者:方雨晨

作者头像

作者:Dino

简介:来源:怼怼子吖,转载请注明来源

文|王沁 王奕昕编辑|李然因为有了AI,Meta的元宇宙梦不死!Meta 3D GenMeta推出了一种名为Meta 3D Gen的端到端3D素材生成模型,可以在不到一分钟的时间内根据文本描述创建高质量的3D素材。广告38岁女领导的生活日记曝光,解密职场有多内涵,令人头皮发麻×图源:X(@AIatMeta)Meta 3D Gen结合了Meta的两个现有模型:用于生成 3D 网格素材的AssetGe
【2024新澳门正版免费资料酷知网】 【2024新澳门的资料大全】 【新澳门一肖一码一中一特】 【管家婆2023正版资料图38期】 【澳门凤凰精准网免费资料网】 【龚俊演过的电视剧】 【今晚澳门开什么】 【新澳门内部正版资料大全】

文|王沁 王奕昕

编辑|李然

因为有了AI,Meta的元宇宙梦不死!

Meta 3D Gen

Meta推出了一种名为Meta 3D Gen的端到端3D素材生成模型,可以在不到一分钟的时间内根据文本描述创建高质量的3D素材。

广告
38岁女领导的生活日记曝光,解密职场有多内涵,令人头皮发麻
×

图源:X(@AIatMeta)

Meta 3D Gen结合了Meta的两个现有模型:用于生成 3D 网格素材的AssetGen和用于精细纹理化的 TextureGen。 Meta 表示,这种集成可以为沉浸式内容带来更高质量的3D生成。

Meta 3D Gen

据Meta称,3D Gen在速度和质量方面都超过了领先的行业解决方案。技术报告中称,专业3D艺术家在大多数类别中对该工具的评分都好于竞争对手,特别是对于复杂的请求。Meta表示,**它的速度是同类系统的3到60倍。**

广告
因为得到美女欣赏,改变了他的人生轨迹…
×

Meta 3D Gen

VR行业发展速度不及预期,其中一个最重要的原因就是创建内容的成本过高,很难吸引内容创作者为元宇宙创建素材。而且人工创建的VR 3D素材质量因为硬件性能等各种因素的限制,相比平面素材过于“简陋”,使得用户的沉浸感不足。

和现有的业界产品(Meshy、Tripo等)相比,Meta的Gen 3D生成的效果确实要好上不少,而且用时还是最少的。图源:Meta论文

而如果用户能够非常方便且高效地创造3D素材,至少将能大大改善VR内容缺乏的问题。如果素材的质量再能得到进一步的提高,生成的虚拟现实世界真的能够达到以假乱真的地步。在Gen AI的加持之下,也许VR中的虚拟世界未来要成为第一个AI生成比例大于人工生成的领域。

Meta 3D Gen

也许小扎的VR梦,在AI的加持下,就真的要成了。

图源:X(@KaladinFree)

网友惊呼:这个技术对于VR以及Meta自身的发展策略来说太重要了。Meta可能是除了英伟达以外AI发展最大的赢家!

图源:X(@sonieashan)

从文本到3D,是怎样炼成的?

从文本提示词生成3D素材的模型,在 3D 图形、动画、游戏和 AR/VR 等领域都具有巨大的发挥潜力。

虽然在文生图和文生视频模型领域,已经取得了世界瞩目的进展(例如MidJourney、Sora、Runway等等),但在3D 生成模型领域,以往的模型质量仍然不足以用于专业用途。

**以往3D生成模型有很多缺陷,比如生成速度慢,生成的3D网格和纹理中存在伪影。此外,以往的很多模型仍然将物体外观渲染为固有的颜色,忽略了 3D 物体的颜色应该随着环境光的变化而变化**。特别是对于反光材料,当把它们放置在新环境中时,它们会显得格格不入。

而Meta的3D Gen 能在不到 30 秒内生成3D素材,相比于以往具有同等速度的模型,在保真度、生成的 3D 网格质量、特别是材料的质量和控制等方面,表现更好。

Meta 3D Gen

3D Gen是如何做到如此栩栩如生的3D素材生成的呢?

3D Gen 采用了两阶段的方法,结合了两个组件,第一阶段使用AssetGen组件,第二阶段使用TextureGen组件。

第一阶段:从文本到图像

这一阶段的目标是,从文本生成有着色和阴影的图像,从四个标准视角,生成这些角度的4张视图。为此,Meta团队使用了一个经过预训练的文生图的扩散模型,该模型在数十亿张带标签的图像上进行训练。

第一阶段的推理时间约为 30 秒。

左为其他模型效果,右为3D Gen模型效果。图源:Meta论文

和其他3D素材生成模型相比,Meta的AssetGen的细节,光照的效果都明显要丰富和真实得多。

左为其他模型效果,右为3D Gen模型效果。图源:Meta论文

值得一提的是,Meta团队使用的这个文生图模型,其架构与国内智源研究院的「悟道3.0」Emu开源多模态模型类似

第二阶段:从图像到3D

根据第一阶段生成的 3D 素材和最初的文本提示词,**对第一阶段的素材进行纹理细化或者重新着色,来生成更高质量的纹理和 PBR(physically based rendering,基于物理的渲染)图**。这一阶段使用了Meta团队的从文本到纹理( text-to-texture)的生成模型 3D TextureGen。

第二阶段推理时间约为 20 秒。

相比业内其他技术,Meta的TextureGen生成的纹理质量非常高。图源:Meta论文

通过构建 AssetGen 和 TextureGen两个组件,3D Gen模型将3D物体的三种高度互补的表现方式结合起来:视觉空间(图像)、体积空间(3D 形状和外观)以及 UV 空间(纹理与质地)。

与许多最先进的解决方案不同,AssetGen 和 TextureGen 都是前馈生成器,因此在部署后既快速又高效。

下图显示了 3D Gen 从第一阶段到第二阶段处理后的效果对比。第二阶段后通常具有更高的视觉美学,看起来更逼真,并且在高频颜色区有更多细节。

△第一阶段效果。图源:Meta论文

△第二阶段处理后的效果。图源:Meta论文

Meta团队将3D Gen与其他文生3D模型同行们(Meshy v3、Tripo等)进行了比较。Meta表示,竞争对手们在简单物体上做得很好,但更复杂的物体组合和场景就有挑战了,而且展现高频区细节与暴露视觉伪影之间总是难以平衡。

3D Gen还可以在同一形状的物体上,进行不同的着色。在第一阶段生成的 3D 网格,然后传递到第二阶段,只要使用不同的提示词,就能创建具有相同形状但外观不同的新素材。除了实现语义编辑并执行全局和局部修改之外,3D Gen 还可以成功地模仿不同的材料和艺术风格。

在同一形状的物体上,进行不同的着色

除了对物体本身进行不同着色,3D Gen还能调整整体场景的风格。通过对物体层面的提示词进行加强,加上风格信息,就能将整个场景的风格进行调整,效果很协调。

在下图中,3D Gen就对同样的物体,进行不同风格的场景渲染,有针织玩偶、恐怖电影、水下世界、像素艺术、圣诞节等风格。

调整整体场景的风格

90后研发团队

Gen 3D的研发团队也非常年轻,基本都是由90后组成。

**Raphael Bensadoun**

Raphael Bensadoun

他毕业于特拉维夫大学,之后在两家小公司有过时间不长的工作经历,之后来到Meta成为了AI研究人员。

Raphael Bensadoun

**Tom Monnier**

Tom Monnier

他毕业于法国最好的工程师大学,然后在Tinyclues和Adobe工作了一段时间之后,进入Meta担任研究科学家。

Tom Monnier

**Filippos Kokkinos**

Filippos Kokkinos

他是Meta GenAI的研究科学家,此前曾在Facebook AI Research(FAIR)工作。他的研究以生成性深度学习为中心,特别关注视频和从文本、图像和视频生成3D的技术。在加入Meta之前他曾经在华为等公司实习过。

他博士毕业于伦敦大学学院。

Filippos Kokkinos

Meta的3D Gen的潜在应用是巨大的。游戏开发人员可以用3D Gen快速制作游戏环境和角色原型,建筑可视化公司则只需要文本描述,就能生成建筑物整体和内部的详细 3D 模型,简化设计流程。在VR/MR领域,3D Gen 可以快速创建沉浸式环境和物体,加速元宇宙应用程序的开发。AI的未来将会进一步加速。

【2023年香港正版资料大全】 新澳门三肖三码精准资料最新版本 【澳门正版资料免费大全2021】 2024年新奥门天天开彩免费资料 【最准一码一肖100%噢】 澳门最准一肖一码一码2023 【一肖一码一期准确码中特马】 澳门王中王100%的资料2024 【新澳门资料大全正版资料4不像】

属羊年运势及运程李居明2021年生肖每月运势运程进入年,对于属羊人来说属于冲太岁的年份,不管是事业财运还是感情健康,表现得都不会特别好“阑干”顾名思义,会制造很多阻碍和麻烦,让前行的道路磨难重重“大耗”。

占星术的起源十分古老,在古代东方和皆有发展时至今日,占星术已经成为人们在生活中最常使用的运程指南李居明精研占星术,独创本书所介绍的二十七星宿占断法,能够准确测算你与他人之间今生来世的冤系,是现代人行运的必备。

李居明大师教你看八字的介绍 李居明大师教你看八字是由陕西师范大学出版社于2010年11月1日出版的一本书籍,作者是李居明 李居明2011星座运程的作者简介 李居明,国际风水术数名师,诞生于中国香港,肄业于香港浸会大学传理系,曾任职报。

我们现在距离2022年还有不到一个月的时间了,那么在这2021年里相信你有很多的不开心和经历了很多的考验,马上2022年了我们都想这些糟糕的命运接下来我给大家整理了一些有关于李居明2022年运程,以及李居明属虎2022年运程的。

香港著名风水堪舆大师李居明,以运程推算准确而知名,每年在香港出版李居明是年运程及十二生肖改运法非常畅销今年因其兔年运程书上预言说日本会有8级以上大地震,而在亚洲华语地区声名大振在香港铜锣湾开有风水吉祥物。

香港风水大师李居明主要作为 香港风水大师李居明先生的命数批算在业界享有盛名,其“八字神数”之批算准确无比在2000年六月应邀到美国亚特兰大为“可口可乐”全球总部堪察风水,同时用“八字神数”为可乐批算百年的盛衰运。

每到年底,总会有各类预测来年事物吉凶的运程书涌现出来,各家各派,让人眼花缭乱不论是什么玄学天后还是专家大师,很多都是昙花一现,几年间便不知踪迹,但唯有李居明大师的运程书,已经连续18年不间断出版,并且每一年都。

评论

用户1:丹尼尔·克雷格Daniel

Dear Boys is a story about determination to excel in a sport inwhich you love and also have fun at t..影片讲述了一段跨越时空的爱情剧情。

用户2:清水富美加

查理和她的朋友来到一个废弃的仓库,举行一个即兴派对,然而他们有所不知,危险正在接木偶动画的图像设计非常精美,增强了影片的视角影响。。