什么是计算机视觉中的合成数据？概览

数据一直是分析和人工智能（AI）等领域的驱动因素。事实上，我们收集、生成和使用数据的方式正在塑造智能系统的未来。例如，自动驾驶汽车依赖数百万张标注过的图像和传感器读数，从交通标志到行人动态，来学习如何安全地在道路上行驶。

在推动这一进步所需的所有数据类型中，图像和视频等视觉数据在自动驾驶汽车和安防等领域尤为关键。

特别是，使机器能够解读这些视觉信息的AI领域被称为计算机视觉。它帮助系统像人类一样理解和分析视觉输入，支持人脸识别、交通标志检测和医学图像分析等任务。

然而，从现实世界中收集大规模、高质量的视觉数据集可能既耗时又昂贵，而且往往会引发隐私问题。这就是研究人员积极探索利用合成数据概念的原因。

合成数据是指人工生成的视觉内容，它们非常接近现实世界的图像和视频。它是使用3D建模、计算机模拟和生成式AI方法（如生成对抗网络 (GANs)）等技术创建的，这些方法通过学习真实数据的模式来生成逼真的新样本。

预计合成数据很快将在AI开发中发挥关键作用——Gartner预测，到2030年，它将变得比现实世界数据更为重要。在本文中，我们将探讨计算机视觉背景下的合成数据是什么，它是如何生成的，以及它在现实场景中的应用。让我们开始吧！

Link to this section什么是计算机视觉中的合成数据？#

假设你想训练一个视觉AI模型来检测不同环境和条件下的物体。仅仅依靠现实世界的数据可能很困难，有时会感觉受到限制。

与此同时，合成数据可用于创建合适的数据集，其中包含在各种人工创造条件下出现的物体。通过使用3D建模和模拟等工具，开发者可以精确控制光照、角度和物体放置等因素，从而生成图像。这反过来为模型训练提供了比现实世界数据更大的灵活性。

当收集现实世界数据困难或不可能时，合成数据特别有用。例如，训练一个模型来识别各种姿势下的人（如奔跑、蹲下或躺下）将需要捕捉数千张处于不同设置、角度和光照条件下的照片。

另一方面，通过合成数据，开发者可以轻松生成这些带有准确标签的变化，从而节省时间和精力，同时提高模型性能。

图 1. 包含不同人体姿势和光照变化的合成数据集（来源）。

Link to this sectionAI中的合成数据与真实数据#

接下来，让我们仔细看看合成数据和真实数据之间的区别。在训练AI模型方面，两者各有利弊。

例如，当真实数据难以收集时，合成数据非常有用，但它可能无法捕捉现实生活中发现的每一个微小细节。同时，真实数据更具权威性，但获取来源可能很难，标注耗时，而且可能无法覆盖所有情况。

通过结合合成数据和真实数据，开发者可以取长补短。这种平衡有助于AI模型更准确地学习、在不同场景中更好地泛化并减少偏差。

图 2. AI中的合成数据与真实数据。图片由作者提供。

Link to this section一览计算机视觉模型的数据生成#

从使用3D工具构建虚拟世界到使用生成式AI生成图像，以下是用于为计算机视觉模型创建合成训练数据的一些常用方法：

• 3D建模：开发者使用3D软件创建数字物体和场景。这允许对光照、相机角度和物体放置等内容进行完全控制，有助于生成人物、车辆和环境的逼真图像。
• 模拟：这些使用基于物理的引擎重建现实世界的情况，如交通或工厂环境。模拟对于在机器人技术和自动驾驶汽车等领域安全地生成训练数据非常有用。
• 生成对抗网络：GANs是一种由两个网络组成的深度学习模型：一个负责创建图像，另一个负责评估它们。它们通过学习真实示例，共同生成高度逼真的图像，例如人脸或街景。
• 程序化生成：此技术使用预定义的规则或数学模型自动生成复杂的视觉结构，如地形、建筑物或纹理。它常用于游戏和模拟平台，能够以最少的人工干预生成大规模、多样化的数据集。
• 领域随机化：它可以随机改变合成场景中的光照、颜色和物体形状等因素。此项技术背后的目标是帮助模型专注于真正重要的内容，从而使其更能适应现实世界环境。

图 3. 数据示例：(a) 基于3D模型的图像，(b) 合成多目标场景，以及 (c) 真实数据集图像（来源）。

Link to this section使用合成数据进行视觉AI模型训练#

现在我们已经讨论了一些用于创建合成数据的方法，让我们来看看它是如何用于训练AI模型的。

生成后，合成数据通常可以像真实世界数据一样直接整合到训练流水线中。它通常包含必要的标注，如物体标签、边界框或分割掩码，这意味着它可用于监督学习任务（模型从标注的输入-输出对中学习），而无需手动标注。

在训练过程中，模型处理合成图像以学习检测特征、识别模式和分类物体。此数据可用于从头开始构建模型的初始版本，或用于丰富现有数据集，从而帮助提高模型性能。

在许多工作流中，合成数据也用于预训练，在用真实世界示例进行微调之前，为模型提供广泛的基础理解。同样，它用于通过引入受控的变化来增强数据集，例如不同的光照条件、角度或罕见的物体类别，以提高泛化能力并减少过拟合。

通过结合合成数据和真实数据，团队可以训练出在各种条件下表现良好的更健壮模型，同时减少对耗时且昂贵的人工数据收集工作的依赖。

Link to this section合成数据在计算机视觉中的现实应用#

随着合成数据变得越来越实用和易用，我们开始看到它被应用于各种现实世界的视觉AI用例中。让我们探索其中一些最具影响力的计算机视觉应用。

Link to this section将合成数据用于自动驾驶汽车的目标检测#

教导自动驾驶汽车安全行驶需要基于广泛的场景（包括罕见或危险的情况）来训练模型。然而，为这些边缘情况收集现实世界数据可能具有挑战性，有时也不安全。合成数据可以帮助创建场景，让模型学习在困难情况下检测物体。它还可以模拟不同的传感器配置，这一点很有帮助，因为并非所有自动驾驶汽车都使用相同的硬件。

NVIDIA的DRIVE Sim平台就是一个很好的例子。它使用照片级逼真的3D模型、虚拟环境和传感器模拟来创建高质量的合成数据。它还可以从单张图像生成多个驾驶角度的图像。使用此类合成数据有助于减少对昂贵的现实世界测试的需求，同时仍能提供模型学习所需的多样性。

图 4. 从一张图像创建多个驾驶视角（来源）。

Link to this section利用合成数据减少医学成像AI中的偏差#

支持目标检测和实例分割等任务的计算机视觉模型（如Ultralytics YOLO11）可以针对医学成像应用进行定制训练。然而，现实世界的训练数据往往存在偏差，因为它可能无法充分代表所有人口群体中的患者。

例如，皮肤癌在深色皮肤的人群中诊断频率较低，导致针对这些群体的数据有限。这种失衡可能导致误诊和不平等的医疗结果，尤其是在组织病理学、胸部X光检查和皮肤病学等领域。

合成图像可以在弥补这一数据缺口方面发挥作用。通过生成额外的、多样化的示例（例如不同的组织异常、广泛的肺部状况以及具有不同病变类型的肤色），合成数据可以帮助提高模型在代表性不足群体中的表现。

研究人员目前正在开发和验证合成数据集以支持这些目标。他们还在探索如何使用合成数据来测试医疗工具和治疗策略，而不依赖真实的患者记录，从而在保护患者隐私的同时加速研究。通过这些工作，合成数据正为更具包容性、准确性和道德性的医学AI系统铺平道路。

Link to this section利用合成数据推进农业AI与精准农业发展#

为农业应用构建视觉AI系统取决于能否获得大量标注数据。然而，收集和标注作物、疾病和田间情况的照片既缓慢又昂贵，而且往往受到天气、生长季节或某些区域难以到达等因素的限制。

这些挑战使得训练计算机视觉模型来处理诸如检测植物病害、监测作物或预测产量等任务变得困难。这就是合成数据可以提供帮助的地方——通过模拟不同的农业环境来生成有用的训练示例。

图 5. 使用合成图像进行改进的病害检测（来源）。

Link to this section关键要点#

使用合成数据代表了AI模型训练向前迈出的重要一步，特别是对于那些在现实世界数据有限或难以获取的领域的计算机视觉系统而言。合成数据允许我们按需生成逼真的、带有标签的图像，而不是仅仅依赖可能昂贵、耗时或引发隐私问题的真实照片或视频。

它使得训练用于自动驾驶、疾病检测或作物监测等任务的视觉AI模型变得更容易。随着AI的持续演进，合成数据注定将在加速创新和提高各行业的可及性方面发挥更大的作用。

在我们的GitHub仓库上了解更多关于AI的信息，并加入我们不断壮大的社区。探索诸如自动驾驶汽车中的AI和农业中的计算机视觉等应用的影响。探索我们的许可选项，让你的视觉AI项目变为现实。