3D生成式AI模型与工具

当谈到技术炒作时，人工智能正在超越虚拟世界，吸引世界各地企业和消费者的注意力。

但人工智能可以进一步增强虚拟世界，至少在某种意义上：资产创造。 AI 有潜力扩大用于虚拟环境的 3D 资产的创建。

AI 3D生成使用人工智能生成3D模型或物体。有几种技术：文本转 3D 模型、图像转 3D 模型、视频转 3D 模型。

每种技术都可以帮助创作者快速定制和生成虚拟资产和环境，特别是帮助那些没有 3D 建模专业知识的人。

AI 3D 生成的潜在应用是在视频游戏和元宇宙环境中创建资产，以及商业产品的设计概念。 它甚至可以用于创建工厂车间的虚拟表示，生成工业工厂的潜在模型。

1、DreamFusion

• 创作者：谷歌、加州大学伯克利分校
• 首次发布：2022 年 9 月

 Dream Fields 可以根据文本输入生成 3D 模型。 它本质上是 Dream Fields 的扩展版本，Dream Fields 是 Google 于 2021 年推出的生成 3D 系统。

DreamFusion 几乎不需要事先训练，这意味着它可以在没有 3D 数据的情况下生成对象的 3D 表示。 它使用由 Imagen 文本到图像扩散模型生成的对象的 2D 图像来理解它尝试生成的模型的不同视角。

2、Point-E

• 创建者：OpenAI
• 首次发布：2022 年 12 月

Point-E 的工作原理与 OpenAI 的图像生成工具 DALL-E 相同 - 只需输入“戴着圣诞老人帽子的柯基犬”之类的内容，系统就会生成 3D 模型。

Point-E 可以在单个 GPU 上仅用一到两分钟生成 3D 模型。 它还拥有图像转 3D 功能，这意味着图像可以与文本一起用于输入。

3、GAUDI

• 创作者：苹果
• 首次发布：2022 年 8 月

GAUDI以著名西班牙建筑师的名字命名，由 Apple 的研究人员创建，用于根据文本提示生成 3D 场景。 用户可以使用自然语言从任何角度重新绘制场景，从而创建建筑物的内部扫描。

GAUDI 还可以通过文本在 3D 室内场景中生成新的摄像机运动，例如用户输入“穿过走廊”。

4、MVDream

• 创建者：TikTok 母公司字节跳动、加州大学圣地亚哥分校
• 首次发布：2023 年 8 月 31 日

MVDream是该列表中的最新模型之一。 字节跳动和加州大学圣地亚哥分校的研究人员开发了一种扩散模型，可以根据文本输入生成高质量的 3D 渲染。

MVDream 可以生成模型的多个视图，这些视图是几何一致的多视图图像。

可以使用 DreamBooth3D 等工具对该模型进行微调，以实现个性化 3D 生成。

5、Magic3D

• 创建者：英伟达
• 首次发布：2023 年 3 月

Magic3D是一种预先训练的文本到图像扩散模型。 它可以根据文本提示创建高质量的 3D 网格模型。

Magic3D 采用两阶段过程：它使用低分辨率扩散创建粗略模型，然后，系统使用稀疏 3D 哈希网格结构，并通过高效的可微渲染器进一步优化，以创建最终输出。

Magic3D 可以在 40 分钟内创建高质量的 3D 网格模型。

6、COLMAP

• 创建者：Johannes L. Schönberger，微软混合现实和人工智能实验室首席科学家
• 首次发布：2021 年 10 月

COLMAP是一个开源 3D 重建管道，具有图形和命令行界面。 它可用于从少量图像生成详细的 3D 环境。

COLMAP 用户可以导出 3D 网格 - 尽管要对其进行细化，需要使用 MeshLab 等程序。

7、PointLLM

• 创作者：香港中文大学、上海人工智能实验室、浙江大学
• 首次发布：2023 年 8 月

PointLLM旨在帮助 3D 生成。 这种方法可以帮助 PaLM 和 Llama 等大型语言模型理解 3D 数据。

使用 PointLLM，人工智能研究人员可以在其数据集中充分利用点云（代表 3D 形状或对象的数据点）。

8、Gliastar

Gliastar 是AI驱动的视频创建工具，可以通过文本输入为品牌角色制作动画。

只需向 Gliastar 提供角色的 2D 或粗略 3D 表示，将模型集成到 GliaStar AI 动画系统中，系统就会在几分钟内自动生成所需吉祥物的 3D 动画。

9、3DFY.ai

3DFY.ai可以根据文本提示或单个图像创建高质量的 3D 模型。

3DFY.ai 3D 生成管道可以快速自动生成 3D 输出 - 用户能够测试文本到 3D Web 服务以尝试自己的提示。

10、Fotor

Fotor可让你根据文本描述生成 3D 模型。 用户可以为各种应用创建详细的 3D 模型。

Fotor还拥有AI 3D角色生成器，用户可以在几分钟内创建独特且详细的角色。

11、Spline

借助 Spline，用户可以使用自然语言输入实时生成 3D 模型和表示。

样条曲线不仅可用于制作 3D 模型，还可用于制作动画和纹理。

12、Meshcapade

Meshcapade构建虚拟化身——使用生成式 AI 为电子商务设置等业务应用程序创建准确的数字人类。

Meshcapade 的 SMPL 系统使用机器学习来捕获个人 3D 体型的统计数据。

13、Masterpiece Studio

借助Masterpiece Studio  ，你可以使用 AI 生成 3D 资产。

Masterpiece Studio 构建了 3D 创作软件，非技术背景的用户可以使用该软件来创建从概念到动画的 3D 内容。

Masterpiece 团队与 Meta 合作构建了 Masterpiece X，它允许创作者重新混合现有的 3D 资产。 你也可以在 Meta Quest 商店中访问它。

14、Luma AI

借助 Luma，用户可以在几分钟内生成逼真的 3D 资源和环境。

Luma 可通过移动设备使用，因此 iOS 用户可以通过手机使用其 3D 生成工具。