Synthetic Data Generation
合成数据生成通过仿真器、程序化规则、生成模型和 LLM 创建人工训练数据,通常还能提供精确标签。
合成数据生成是指通过模拟器、程序化规则或生成模型来生成合成图像、视频、传感器读数、表格或文本,以便机器学习模型使用这些数据进行训练或测试。其产物是合成数据;生成过程通过四项选择决定数据质量:采用哪种方法创建样本、如何添加标签、每个场景的变化范围有多大,以及如何根据真实数据检查结果。在计算机视觉中,生成器的主要优势在于,它既然能放置每个对象,也能为对象编写数据标注,而且既准确又免费。
主要生成方法#
模拟器利用素材构建 3D 场景,设置光照、材质和摄像机,并渲染图像,同时生成精确的掩码、深度图和边界框,因为场景描述记录了所有物体的位置。CARLA 等开源驾驶模拟器会为自动驾驶车辆生成摄像头、激光雷达和雷达数据流;机器人模拟器也会为抓取和导航生成相同类型的数据。域随机化会在不同渲染结果中改变纹理、光照和姿态,使基于这些数据训练的模型能够迁移到真实摄像头上。
程序化生成使用脚本和规则,而不是完整场景。卡内基梅隆大学 2017 年发表的《Cut, Paste and Learn》论文推广了剪切粘贴合成方法:将分割后的对象裁剪图粘贴到新背景上,并将每个粘贴对象的边界框记录为标签。最简单的版本会在随机位置绘制形状,生成器则在绘制时为每个对象写入标签:
import cv2
import numpy as np
rng = np.random.default_rng(0)
boxes = 0
for i in range(100):
# Random background color, then one to four contrasting discs in separate quadrants so none overlap
background = rng.integers(0, 256, 3)
image = np.full((320, 320, 3), background, dtype=np.uint8)
labels = []
for qx, qy in [(0, 0), (160, 0), (0, 160), (160, 160)][: rng.integers(1, 5)]:
r = int(rng.integers(10, 40))
x, y = qx + int(rng.integers(r, 160 - r)), qy + int(rng.integers(r, 160 - r))
color = (background + rng.integers(64, 193, 3)) % 256
cv2.circle(image, (x, y), r, color.tolist(), thickness=-1)
# The generator placed the disc, so its normalized box label is exact and free
labels.append(f"0 {x / 320:.4f} {y / 320:.4f} {2 * r / 320:.4f} {2 * r / 320:.4f}")
cv2.imwrite(f"synthetic_{i:03d}.jpg", image)
with open(f"synthetic_{i:03d}.txt", "w") as f:
f.write("\n".join(labels))
boxes += len(labels)
print(f"wrote 100 images with {boxes} exact box labels")它会打印 wrote 100 images with 256 exact box labels。每行都遵循YOLO 标签格式,并将类别以及边界框中心点、宽度和高度存储为图像尺寸的比例值,而且这些内容都不需要人工标注。
生成模型学习真实数据的外观,并从中采样新示例。生成对抗网络 (GANs)和扩散模型可以从噪声、文本提示或参考图像生成照片级真实感图像;ControlNet 等条件控制方法则能固定布局,从而确定对象位置。若没有这种条件控制,生成的图像还需要事后标注。对于表格,统计合成器会使用高斯 Copula、贝叶斯网络或 CTGAN 等条件 GAN(NeurIPS 2019)拟合真实记录的联合分布,然后采样生成新行。
大语言模型可以生成文本数据,包括指令、对话、代码练习和推理轨迹。Microsoft 使用 60 亿个经过筛选的网页文本 Token,以及 10 亿个由 GPT-3.5 编写的教材和练习 Token,训练了拥有 13 亿参数的代码模型 phi-1;该模型在 HumanEval 基准测试中的 pass@1 得分达到 50.6%。
选择和验证方法#
具体方法取决于数据必须包含什么,而每种方法最终都要通过同一项检查:与真实数据进行比较。
验证时,使用生成的数据(单独使用或与真实数据混合)训练模型,并且只在留出的真实测试数据上评估,例如 Ultralytics 对用于缺陷检测的 NVIDIA Cosmos 合成数据进行的基准测试。如果随着合成数据占比增加,真实图像上的准确率下降,就说明生成器在逼真度或覆盖范围方面存在不足;Fréchet Inception Distance (FID)等图像级分数有助于定位问题。使用真实数据训练的生成器也可能记住训练数据,因此涉及隐私的流水线会将生成记录与原始记录进行比对,有些还会在训练中加入差分隐私。
Ultralytics Platform通过生成相似图像操作,将图像生成集成到数据集管理中。该操作会从数据集中选取一张图像,编写受其启发的新场景描述,并默认使用 Ultralytics Image 4B 模型为每条描述生成一张图像;每次可生成 1 到 16 张图像,还可以根据可选指令改变光照、视角、背景或对象等内容。保留的图像会以无标签状态加入数据集,供后续标注。










