合成数据

如何创建合成数据

根据所需的复杂性和保真度，合成数据生成采用了各种技术。一些常见的方法包括

• 统计建模：使用统计方法，如从概率分布中抽样或从真实数据中得出回归模型。
• 模拟：创建虚拟环境或流程以生成数据。这在机器人和自主系统中很常见，使用的平台包括NVIDIA Omniverse或Unity Simulation。
• 深度学习模型：采用深度学习（DL）技术，特别是生成对抗网络（GAN）和最近的扩散模型。这些模型可以学习真实数据的基本模式，并生成新的、类似的数据点。最初的 GAN 论文引入了这一领域的基础概念。

在人工智能和计算机视觉领域的重要性

合成数据为人工智能开发和计算机视觉提供了多项重大优势：

• 克服数据匮乏：在真实世界数据有限或获取成本高昂的情况下提供大量数据，帮助训练强大的模型（模型训练提示）。
• 增强数据隐私：生成的数据既保留了统计属性，又不包含敏感的真实世界信息，有助于遵守隐私法规，并支持差分隐私等技术。
• 减少偏差：可通过精心控制来减轻或增强代表性不足的群体或场景的代表性，帮助解决数据集偏差问题，促进人工智能的公平性。
• 覆盖边缘情况：允许创建代表罕见或危险场景（如自动驾驶汽车事故、罕见病症）的数据，这些场景在现实中很难捕捉到。这可以提高模型的通用性。
• 成本和时间效率：与收集和标注真实世界的数据相比，生成数据的成本通常更低，速度更快（数据标注详解）。

在计算机视觉领域，合成图像经常被用来训练任务模型，如物体检测、图像分割和不同条件下的姿态估计（如不同的光照、天气和视角），而这些条件在现有数据集中可能很难找到。

实际应用

合成数据应用于众多行业：

• 汽车领域的人工智能：训练自动驾驶汽车的模型需要大量不同的驾驶数据。模拟（如Waymo 的模拟环境）可生成包括事故或异常路况等罕见事件在内的合成场景，这对无实际风险的安全测试至关重要。这加快了可靠的自动驾驶系统的开发。
• 医疗保健领域的人工智能：由于患者隐私法规（如HIPAA）和罕见疾病标记数据的稀缺，为医学图像分析（如肿瘤检测）开发人工智能模型常常面临挑战。合成医疗图像或患者记录（如使用Synthea 等工具生成）可让研究人员在不损害隐私的情况下训练模型，实现数据访问的民主化。

其他应用包括金融建模（AI in Finance）、零售（AI for Smarter Retail）和机器人培训。

合成数据与数据增强

虽然合成数据和数据增强都旨在增强数据集，但它们是不同的概念：

• 数据增强：涉及对现有真实数据点进行转换（如旋转、裁剪、颜色偏移），以创建略有改动的版本。它在原始数据分布的基础上增加了训练集的多样性。Ultralytics 模型通常包含内置增强功能（Albumentations Integration）。
• 合成数据：指人工生成的全新数据，通常使用模拟或生成模型（如GAN）。它不一定从特定的真实数据点出发，也可以代表原始数据集中完全没有的场景。

从本质上讲，数据扩增可以扩大现有数据的差异，而合成数据则可以创建全新的数据点和场景，为通过Ultralytics HUB 等平台管理的人工智能模型训练提供了一种补充甚至替代真实数据的强大方法。