什么是计算机视觉中的合成数据？概览

数据一直是分析和人工智能 (AI) 等领域的重要驱动力。事实上，我们收集、生成和使用数据的方式，正在塑造智能系统的未来。例如，自动驾驶汽车依赖数百万张标注图像和传感器读数，从街道标志到行人移动数据，来学习如何安全地在道路上行驶。

推动这一进步的最重要数据类型之一，尤其是在自动驾驶汽车和安防等领域，就是图像和视频等视觉数据。

具体来说，让机器能够解读视觉信息的 AI 领域称为计算机视觉。它帮助系统像人类一样理解和分析视觉输入，支持人脸识别、交通标志检测和医学图像分析等任务。

然而，从现实世界中收集大规模、高质量的视觉数据集可能耗时且成本高昂，而且往往会引发隐私方面的担忧。因此，研究人员正在积极探索如何利用合成数据。

合成数据是指人工生成、与真实世界图像和视频高度相似的视觉数据。生成合成数据的技术包括 3D 建模、计算机仿真，以及生成对抗网络 (GANs)等生成式 AI 方法。这些方法从真实数据中学习模式，进而生成逼真的新样本。

合成数据预计很快将在 AI 开发中发挥关键作用——Gartner 预测，到 2030 年，合成数据的重要性将超过真实世界数据。本文将探讨计算机视觉领域中的合成数据是什么、如何生成，以及它在现实场景中的应用。

计算机视觉中的合成数据是什么？#

假设你想训练一个视觉 AI 模型，使其能够在多样的环境和条件下检测目标。如果只依赖真实世界数据，可能很难做到，有时还会觉得受到限制。

另一方面，合成数据可以用来创建合适的数据集，其中包含在各种人工构造条件下的目标。借助 3D 建模和仿真等工具，开发者可以精确控制光照、角度和目标位置等因素来生成图像。因此，与真实世界数据相比，合成数据为模型训练提供了更大的灵活性。

在难以或无法收集真实世界数据时，合成数据尤其有用。例如，要训练模型识别跑步、蹲下或躺卧等各种姿势的人，就需要在不同场景、角度和光照条件下拍摄数千张照片。

而使用合成数据，开发者可以轻松生成这些变化并附上准确标签，节省时间和精力，同时提升模型性能。

图 1. 包含不同人体姿势和光照变化的合成数据集（来源）。

AI 中的合成数据与真实数据#

接下来，我们仔细看看合成数据和真实数据之间的差异。在训练 AI 模型时，两者各有优缺点。

例如，当真实数据难以收集时，合成数据很有用，但它可能无法捕捉现实生活中的所有细节。与此同时，真实数据更贴近实际，但可能难以获取、标注起来很耗时，也可能无法覆盖所有情况。

将合成数据与真实数据结合起来，开发者就能兼得两者的优势。这样的平衡有助于 AI 模型更准确地学习、更好地泛化到不同场景，并减少偏差。

图 2. AI 中的合成数据与真实数据。图片由作者提供。

计算机视觉模型的数据生成方法#

从使用 3D 工具构建虚拟世界，到利用生成式 AI 创建图像，以下是为计算机视觉模型创建训练数据的一些常见方法：

• 3D 建模：开发者使用 3D 软件创建数字对象和场景。这样可以全面控制光照、摄像头角度和目标位置等因素，适合生成逼真的人物、车辆和环境图像。
• 仿真：利用基于物理的引擎重现交通或工厂环境等真实场景。仿真有助于在机器人和自动驾驶汽车等领域安全地生成训练数据。
• 生成对抗网络：GANs 是一种由两个网络构成的深度学习模型：一个网络生成图像，另一个网络评估图像。两个网络共同从真实样本中学习，生成高度逼真的图像，例如人脸或街景。
• 程序化生成：这种技术使用预定义规则或数学模型，自动生成地形、建筑物或纹理等复杂视觉结构。它常用于游戏和仿真平台，只需极少人工输入，就能生成大规模、多样化的数据集。
• 域随机化：它可以随机改变合成场景中的光照、颜色和物体形状等要素。这项技术旨在帮助模型专注于真正重要的内容，从而增强模型对真实环境的适应能力。

图 3. 数据示例：(a) 基于 3D 模型，(b) 合成的多目标场景，以及 (c) 真实数据集图像（来源）。

使用合成数据训练视觉 AI 模型#

现在我们已经讨论了创建合成数据的几种不同方法，接下来看看如何将合成数据用于训练 AI 模型。

生成后，合成数据通常可以像真实世界数据一样直接整合到训练流水线中。合成数据通常包含必要的标注，例如目标标签、边界框或分割掩码，因此无需人工标注即可用于监督学习任务；在监督学习中，模型从带标签的输入-输出对中学习。

训练过程中，模型会处理合成图像，学习检测特征、识别模式和分类目标。这些数据既可以用于从头构建模型的初始版本，也可以用于扩充现有数据集，从而帮助提升模型性能。

在许多工作流中，合成数据还用于预训练，让模型在使用真实世界样本进行微调之前，先获得广泛的基础理解。同样，合成数据也用于扩充数据集，通过引入不同光照条件、角度或罕见目标类别等可控变化，提高泛化能力并减少过拟合。

通过结合合成数据和真实数据，团队可以训练出更稳健的模型，使其在各种条件下都能表现良好，同时减少对耗时且昂贵的人工数据收集工作的依赖。

合成数据在计算机视觉中的实际应用#

随着合成数据变得更加实用、易于获取，我们开始看到它被应用于各种现实世界的视觉 AI 场景。下面来看看合成数据正在发挥作用的一些最具影响力的计算机视觉应用。

利用合成数据实现自动驾驶汽车目标检测#

要让自动驾驶汽车安全行驶，就需要在各种场景（包括罕见或危险的情况）下训练模型。然而，为这些边缘情况收集真实世界数据既有挑战，有时也不安全。合成数据可以帮助创建相应场景，让模型学习在复杂情况下检测目标。合成数据还可以模拟不同的传感器配置，这一点很有帮助，因为并非所有自动驾驶汽车都使用相同的硬件。

NVIDIA DRIVE Sim 平台就是一个很好的例子。它利用照片级真实感的 3D 模型、虚拟环境和传感器仿真来创建高质量的合成数据。它还可以根据单张图像生成多个驾驶视角的图像。使用这类合成数据有助于减少昂贵的真实世界测试需求，同时为模型提供有效学习所需的多样性。

图 4. 根据单张图像创建多个驾驶视角（来源）。

利用合成数据减少医学影像 AI 中的偏差#

像 Ultralytics YOLO11 这样的计算机视觉模型支持目标检测和实例分割等任务，可以针对医学影像应用进行定制训练。然而，真实世界的训练数据往往存在偏差，因为它可能无法充分代表所有人口群体的患者。

例如，深色肤色人群罹患皮肤癌的诊断频率较低，导致这些人群的数据有限。这种数据不平衡可能导致误诊和医疗结果不公平，尤其是在组织病理学、胸部 X 光和皮肤病学等领域。

合成图像有助于弥补这一数据缺口。通过生成更多样化的样本，例如不同组织异常、各种肺部疾病，以及具有不同病变类型的各种肤色图像，合成数据可以帮助提升模型在代表性不足群体中的表现。

研究人员目前正在开发并验证合成数据集，以支持这些目标。他们还在探索如何利用合成数据测试医疗工具和治疗策略，而无需依赖真实患者记录，从而在保护患者隐私的同时加速研究。这些工作正借助合成数据，为更具包容性、更准确、更合乎伦理的医疗 AI 系统铺平道路。

利用合成数据推进农业 AI，助力精准农业#

构建用于农业应用的视觉 AI 系统，需要大量带标签的数据。然而，收集并标注农作物、病害和田间状况的图像既缓慢又昂贵，还经常受到天气、种植季节或某些区域难以抵达等因素的限制。

这些挑战使计算机视觉模型难以胜任植物病害检测、作物监测或产量预测等任务。合成数据可以模拟不同的农业环境，生成实用的训练样本，帮助解决这一问题。

图 5. 使用合成图像提升病害检测效果（来源）。

要点#

使用合成数据是 AI 模型训练迈出的重要一步，尤其适用于真实世界数据有限或难以获取的计算机视觉系统。与只依赖真实照片或视频（这些数据可能成本高昂、耗时，或引发隐私问题）不同，合成数据让我们能够按需生成逼真且带有标签的图像。

合成数据让训练视觉 AI 模型变得更加容易，可用于自动驾驶、疾病检测或作物监测等任务。随着 AI 持续发展，合成数据将在加速创新、提高各行业可及性方面发挥更大作用。

通过我们的 GitHub 代码库进一步了解 AI，并加入不断壮大的社区。了解 AI 在自动驾驶汽车中的应用和计算机视觉在农业中的应用等应用带来的影响。探索我们的许可选项，让你的视觉 AI 项目成为现实。