深圳Yolo 视觉
深圳
立即加入

利用NVIDIA Edify 3D 简化 3D 模型创建过程

Abirami Vina

4 分钟阅读

2024年12月2日

了解NVIDIA Edify 3D 如何让 3D 模型创建变得更简单,让用户能够快速高效地生成高质量、可定制的 3D 资产。

近年来,3D 技术已成为科技领域一个令人兴奋且快速增长的领域。2013 年至 2020 年间,3D 打印专利技术以 26.3% 的惊人年增长率增长。 这一快速发展表明了人们对 3D 领域的创新和兴趣。

从游戏和建筑到虚拟现实,3D 工具正在重塑行业的工作方式。在之前的博文中,我们讨论了3D 目标检测,这项技术使系统能够识别、定位和分析三维空间中的物体。 

今天,我们将重点关注该领域中另一个令人兴奋的发展:文本到 3D 建模和图像到 3D 建模。创作者只需通过文本或图像描述它们,即可生成详细的 3D 模型,从而使 3D 设计比以往任何时候都更快、更易于访问。

NVIDIA Edify 3D 就是一个很好的例子,它是一种生成式人工智能 模型,可以将文本或图像转化为高质量的 3D 模型。它集速度、精度和定制化于一身,正在改变专业人士和业余爱好者创建 3D内容的方式。

在本文中,我们将深入探讨什么是NVIDIA Edify 3D 及其工作原理。我们还将了解它的功能、实际应用以及对各行各业的潜在影响。让我们开始吧!

了解NVIDIA Edify 3D

手动创建 3D 模型传统上涉及一个具有挑战性和耗时的过程。设计师通常依赖于专业的软件,这些软件需要大量的技术专业知识才能建模、纹理化和优化资产。 

复杂的项目可能需要耗费大量时间,并且需要对细节的精确关注,这使得在紧张的期限内完成任务变得困难。此外,手动方法通常需要访问昂贵的硬件和资源,这使得它对于小型团队或独立创作者来说不太可行。

NVIDIA )Edify 3D利用生成式人工智能将大部分流程自动化,从而简化了这一过程。用户无需从头开始,只需输入文字描述或图像,模型就能在几分钟内生成详细的 3D 模型。 

图 1.使用NVIDIA Edify 3D 将文字转换为 3D 模型的示例。

虽然NVIDIA ™ Edify 3D 专注于根据文字描述或图像生成高质量的 3D 资产或模型,但它实际上是更大的 Edify模型套件的一部分,旨在将生成式人工智能用于各种创意任务。这些工具包括创建 4K图像、360 度高动态范围 (HDR) 环境、基于物理的渲染 (PBR) 材料甚至视频内容的功能。

NVIDIA Edify 3D 在 3D 模型创建方面的主要功能

NVIDIA Edify 3D 的主要功能之一是能够生成四网格。四边网格是由四边多边形组成的 3D 模型。这些网格在 3D 建模中受到广泛青睐,因为它们能创建更平滑、更自然的形状。与使用三角形多边形制作的网格相比,它们也更容易编辑。四边形网格对于游戏和动画等行业尤其有用,因为在这些行业中,精确度和快速细化至关重要。

图 2. Edify 3D 以四边形网格的形式生成资产。

Edify 3D 的另一项功能是与 Omniverse 和 NIM 等其他NVIDIA 工具的无缝集成。这对于虚拟现实(VR)、增强现实(AR)和产品可视化等应用非常有用。通过解决传统 3D 工作流程中的常见难题(如时间限制和手动建模的复杂性),创作者可以专注于自己的想法和创意,而不是技术障碍。

NVIDIA Edify 3D 如何运行?

Edify 3D 使用先进的 AI 技术将文本描述或参考图像转换为详细的 3D 模型。该过程从输入开始,例如文本提示或图像。多视角扩散模型通过将随机噪声细化为有意义的内容来创建图像,从而生成对象从不同角度的多个 RGB 图像。这些图像捕捉了对象从各个角度的外观,以确保一致性。

与此同时,一个多视图控制网(一个旨在利用结构信息指导生成过程的神经网络)会生成表面法线,它代表了物体表面的形状和结构,包括曲线和边缘等细节。这些表面法线与 RGB 图像相结合,可提供视觉和几何信息。这些数据将传递给 Transformer-这种人工智能模型可以处理信息序列,预测物体的三维形状、纹理和材料。

结果被细化为四边形网格。为了增强最终输出,多视图放大 ControlNet(一种可以提高多个角度的纹理分辨率和细节的神经网络)确保 3D 模型在视觉上细致且精致。此过程创建高质量、可随时使用的 3D 资产,适用于各种应用。

图 3.了解NVIDIA Edify 3D 的工作原理。

NVIDIA Edify 3D 在现实世界中的应用

现在,我们已经了解了NVIDIA Edify 3D 的工作原理和功能,下面让我们来看看它如何在不同行业中发挥影响。

为游戏和娱乐创建 3D 资产

在游戏和 娱乐 方面,3D资产对于创造沉浸式体验至关重要。借助Edify 3D,游戏开发者和动画师可以从简单的文本或图像快速生成详细的角色、环境和对象。这加快了生产过程,使创意团队能够专注于完善设计和讲故事,而不是花费数小时进行手动3D建模。 

图 4. 创建角色的示例。图片由作者提供。

通过 3D 产品视觉效果改善在线购物体验

得益于 3D 产品视觉效果,在线购物正变得更具互动性。Edify 3D 可以帮助零售商轻松创建逼真的、可旋转的 3D 产品模型,帮助客户更好地了解他们购买的商品。 

通过让购物者更清楚地了解产品各个角度的外观,可以改善购物体验并减少退货。借助 3D 生成模型,电子商务企业可以提高客户满意度并提高转化率。

帮助建筑师和设计师构建更好的视觉效果

对于建筑师和设计师来说,将想法转化为详细的视觉效果可能是一个漫长而复杂的过程。Edify 3D 等工具可以通过快速将草图、描述或概念转换为准确的 3D 模型来简化此过程,这些模型可以可视化并协助传达设计理念。无论是建筑物、室内空间还是家具,3D 建模都可以加快设计过程,减少错误,并帮助更快地将项目变为现实。

通过 3D 模型使教育和培训更具互动性

在之前的一篇文章中,我们讨论了计算机视觉如何通过增强现实 (AR) 来帮助学习。 它让学生将数字信息叠加到现实世界中,从而更容易地可视化和理解复杂的想法。 同样,3D 建模在创建详细的交互式模拟中起着重要作用。

Edify 3D 等工具使教育工作者能够轻松地为医学培训、工程或历史等领域设计和定制模型。这些 3D 模型让学生能够以更具沉浸感和实践性的方式探索和参与学科学习,从而提高学习效率和趣味性。

图 5. 使用输入图像生成 3D 模型的示例。

NVIDIA Edify 3D 的优势和局限性

NVIDIA )Edify 3D具有多种优势,是制作3D内容的有效工具。以下是一些优势:

  • 可定制性:用户可以轻松调整和微调生成的模型,以满足特定需求或创意。
  • 创造性灵活性:该平台在模型创建方面提供了灵活性,让用户可以快速试验不同的设计和概念。
  • 简化迭代: 快速生成模型并进行调整的能力有助于加速迭代设计过程,从而可以更快地进行修订和更新。

虽然 Edify 3D 对于希望加快 3D 建模过程的专业人士和初学者来说都是一个有吸引力的选择,但以下是一些需要牢记的限制:

  • 学习曲线:虽然它被设计为用户友好的,但那些不熟悉 AI 驱动的 3D 建模的人可能会遇到轻微的学习曲线。
  • 对输入质量的依赖性:生成的 3D 模型的质量取决于输入文本或图像的清晰度和细节。输入越好,结果越好。
  • 复杂模型可能需要优化: 更复杂或高度精细的3D模型可能需要在生成后进行额外的编辑,以满足特定的质量标准。

有关NVIDIA Edify 3D 的重要信息

NVIDIA Edify 3D 正在重新构想 3D 模型的创建方式,使创建过程更快、更简单、更易用。通过使用先进的人工智能来处理通常耗时且复杂的任务,它可以帮助用户以更少的工作量生成高质量的 3D 资产。 

无论是在游戏、在线购物、建筑还是教育领域中使用,Edify 3D 都能简化工作流程,并为创造力开辟新的可能性。随着越来越多的行业采用 3D 技术,Edify 3D 等工具将在使将想法变为现实变得更容易方面发挥重要作用。

请访问我们的 GitHub 仓库 并加入我们活跃的社区,继续探索人工智能。阅读更多关于 人工智能在农业医疗保健领域的应用。🚀🤖

让我们一起构建人工智能的未来!

开启您的机器学习未来之旅

免费开始