深圳尤洛视觉
深圳
立即加入

利用 NVIDIA Edify 3D 简化 3D 模型创建

Abirami Vina

4 分钟阅读

2024年12月2日

了解 NVIDIA Edify 3D 如何简化 3D 模型创建,使用户能够快速高效地生成高质量、可定制的 3D 资产。

近年来,3D 技术已成为科技领域一个令人兴奋且快速增长的领域。2013 年至 2020 年间,3D 打印专利技术以 26.3% 的惊人年增长率增长。 这一快速发展表明了人们对 3D 领域的创新和兴趣。

从游戏和建筑到虚拟现实,3D 工具正在重塑行业的工作方式。在之前的博文中,我们讨论了3D 目标检测,这项技术使系统能够识别、定位和分析三维空间中的物体。 

今天,我们将重点关注该领域中另一个令人兴奋的发展:文本到 3D 建模和图像到 3D 建模。创作者只需通过文本或图像描述它们,即可生成详细的 3D 模型,从而使 3D 设计比以往任何时候都更快、更易于访问。

这方面的一个很好的例子是NVIDIA Edify 3D,这是一个生成式AI模型,可以将文本或图像转换为高质量的3D模型。通过结合速度、精度和定制,它正在改变专业人士和业余爱好者处理3D内容创作的方式。

在本文中,我们将深入探讨 NVIDIA Edify 3D 是什么以及它的工作原理。我们还将了解它的功能、实际应用以及它可能对各个行业产生的潜在影响。让我们开始吧!

开始了解 NVIDIA Edify 3D

手动创建 3D 模型传统上涉及一个具有挑战性和耗时的过程。设计师通常依赖于专业的软件,这些软件需要大量的技术专业知识才能建模、纹理化和优化资产。 

复杂的项目可能需要耗费大量时间,并且需要对细节的精确关注,这使得在紧张的期限内完成任务变得困难。此外,手动方法通常需要访问昂贵的硬件和资源,这使得它对于小型团队或独立创作者来说不太可行。

NVIDIA Edify 3D 通过使用生成式 AI 自动执行大部分流程来简化此过程。用户无需从头开始,而是可以输入文本描述或图像,模型可以在几分钟内生成详细的 3D 模型。 

图 1. 使用 NVIDIA Edify 3D 从文本生成 3D 模型的示例。

虽然NVIDIA Edify 3D专注于从文本描述或图像生成高质量的3D资产或模型,但它实际上是Edify 模型套件的一部分,该套件旨在将生成式AI用于各种创意任务。这些工具包括创建4K 图像、360度高动态范围 (HDR) 环境、基于物理的渲染 (PBR) 材料,甚至视频内容的功能。

NVIDIA Edify 3D 在 3D 模型创建中的主要特性

NVIDIA Edify 3D 的一项关键特性是其生成四边形网格的能力。四边形网格是由四边多边形组成的 3D 模型。这些网格在 3D 建模中被广泛使用,因为它们可以创建更平滑、更自然的形状。与由三角形多边形制成的网格相比,它们也更容易编辑。四边形网格对于 游戏和动画等行业尤其有用,在这些行业中,精度和快速改进至关重要。

图 2. Edify 3D 以四边形网格的形式生成资产。

Edify 3D 的另一个特点是它可以与其他 NVIDIA 工具(如 Omniverse 和 NIM)无缝集成。这对于虚拟现实 (VR)、增强现实 (AR) 和产品可视化等应用非常有用。通过解决传统 3D 工作流程中的常见挑战(如时间限制和手动建模的复杂性),创作者可以专注于他们的想法和创造力,而不是技术障碍。

NVIDIA Edify 3D 如何运作?

Edify 3D 使用先进的 AI 技术将文本描述或参考图像转换为详细的 3D 模型。该过程从输入开始,例如文本提示或图像。多视角扩散模型通过将随机噪声细化为有意义的内容来创建图像,从而生成对象从不同角度的多个 RGB 图像。这些图像捕捉了对象从各个角度的外观,以确保一致性。

与此同时,多视角 ControlNet(一种旨在利用结构信息指导生成过程的神经网络)生成表面法线,表面法线表示对象表面的形状和结构,包括曲线和边缘等细节。这些表面法线与 RGB 图像相结合,提供视觉和几何信息。此数据将传递到基于 Transformer 的重建模型,这是一种处理信息序列以预测对象的 3D 形状、纹理和材料的 AI 模型。

结果被细化为四边形网格。为了增强最终输出,多视图放大 ControlNet(一种可以提高多个角度的纹理分辨率和细节的神经网络)确保 3D 模型在视觉上细致且精致。此过程创建高质量、可随时使用的 3D 资产,适用于各种应用。

图 3. 了解 NVIDIA Edify 3D 的工作原理。

NVIDIA Edify 3D 的真实世界应用

既然我们已经探讨了 NVIDIA Edify 3D 的工作原理以及它可以做什么,现在让我们仔细看看它如何对不同行业产生影响。

为游戏和娱乐创建 3D 资产

在游戏和 娱乐 方面,3D资产对于创造沉浸式体验至关重要。借助Edify 3D,游戏开发者和动画师可以从简单的文本或图像快速生成详细的角色、环境和对象。这加快了生产过程,使创意团队能够专注于完善设计和讲故事,而不是花费数小时进行手动3D建模。 

图 4. 创建角色的示例。图片由作者提供。

通过 3D 产品视觉效果改善在线购物体验

得益于 3D 产品视觉效果,在线购物正变得更具互动性。Edify 3D 可以帮助零售商轻松创建逼真的、可旋转的 3D 产品模型,帮助客户更好地了解他们购买的商品。 

通过让购物者更清楚地了解产品各个角度的外观,可以改善购物体验并减少退货。借助 3D 生成模型,电子商务企业可以提高客户满意度并提高转化率。

帮助建筑师和设计师构建更好的视觉效果

对于建筑师和设计师来说,将想法转化为详细的视觉效果可能是一个漫长而复杂的过程。Edify 3D 等工具可以通过快速将草图、描述或概念转换为准确的 3D 模型来简化此过程,这些模型可以可视化并协助传达设计理念。无论是建筑物、室内空间还是家具,3D 建模都可以加快设计过程,减少错误,并帮助更快地将项目变为现实。

通过 3D 模型使教育和培训更具互动性

在之前的一篇文章中,我们讨论了计算机视觉如何通过增强现实 (AR) 来帮助学习。 它让学生将数字信息叠加到现实世界中,从而更容易地可视化和理解复杂的想法。 同样,3D 建模在创建详细的交互式模拟中起着重要作用。

Edify 3D 等工具使教育工作者能够轻松地为医学培训、工程或历史等领域设计和定制模型。这些 3D 模型让学生能够以更具沉浸感和实践性的方式探索和参与学科学习,从而提高学习效率和趣味性。

图 5. 使用输入图像生成 3D 模型的示例。

NVIDIA Edify 3D 的优点和局限性

NVIDIA Edify 3D 提供了多种优势,使其成为 3D 内容创建的有效工具。以下是一些优点:

  • 可定制性:用户可以轻松调整和微调生成的模型,以满足特定需求或创意。
  • 创造性灵活性:该平台在模型创建方面提供了灵活性,让用户可以快速试验不同的设计和概念。
  • 简化迭代: 快速生成模型并进行调整的能力有助于加速迭代设计过程,从而可以更快地进行修订和更新。

虽然 Edify 3D 对于希望加快 3D 建模过程的专业人士和初学者来说都是一个有吸引力的选择,但以下是一些需要牢记的限制:

  • 学习曲线:虽然它被设计为用户友好的,但那些不熟悉 AI 驱动的 3D 建模的人可能会遇到轻微的学习曲线。
  • 对输入质量的依赖性:生成的 3D 模型的质量取决于输入文本或图像的清晰度和细节。输入越好,结果越好。
  • 复杂模型可能需要优化: 更复杂或高度精细的3D模型可能需要在生成后进行额外的编辑,以满足特定的质量标准。

关于 NVIDIA Edify 3D 的主要收获

NVIDIA Edify 3D 正在重新构想 3D 模型的创建方式,使过程更快、更简单、更易于访问。通过使用先进的 AI 来处理通常耗时且复杂的任务,它可以帮助用户以更少的精力生成高质量的 3D 资产。 

无论是在游戏、在线购物、建筑还是教育领域中使用,Edify 3D 都能简化工作流程,并为创造力开辟新的可能性。随着越来越多的行业采用 3D 技术,Edify 3D 等工具将在使将想法变为现实变得更容易方面发挥重要作用。

请访问我们的 GitHub 仓库 并加入我们活跃的社区,继续探索人工智能。阅读更多关于 人工智能在农业医疗保健领域的应用。🚀🤖

让我们一起构建人工智能的未来!

开启您的机器学习未来之旅

免费开始
链接已复制到剪贴板