获取 YOLO 许可
返回 Ultralytics 术语表

Synthetic Data Generation

合成数据生成通过仿真器、程序化规则、生成模型和 LLM 创建人工训练数据,通常还能提供精确标签。

合成数据生成是指通过模拟器、程序化规则或生成模型来生成合成图像、视频、传感器读数、表格或文本,以便机器学习模型使用这些数据进行训练或测试。其产物是合成数据;生成过程通过四项选择决定数据质量:采用哪种方法创建样本、如何添加标签、每个场景的变化范围有多大,以及如何根据真实数据检查结果。在计算机视觉中,生成器的主要优势在于,它既然能放置每个对象,也能为对象编写数据标注,而且既准确又免费。

主要生成方法#

模拟器利用素材构建 3D 场景,设置光照、材质和摄像机,并渲染图像,同时生成精确的掩码、深度图和边界框,因为场景描述记录了所有物体的位置。CARLA 等开源驾驶模拟器会为自动驾驶车辆生成摄像头、激光雷达和雷达数据流;机器人模拟器也会为抓取和导航生成相同类型的数据。域随机化会在不同渲染结果中改变纹理、光照和姿态,使基于这些数据训练的模型能够迁移到真实摄像头上。

程序化生成使用脚本和规则,而不是完整场景。卡内基梅隆大学 2017 年发表的《Cut, Paste and Learn》论文推广了剪切粘贴合成方法:将分割后的对象裁剪图粘贴到新背景上,并将每个粘贴对象的边界框记录为标签。最简单的版本会在随机位置绘制形状,生成器则在绘制时为每个对象写入标签:

import cv2
import numpy as np

rng = np.random.default_rng(0)
boxes = 0
for i in range(100):
    # Random background color, then one to four contrasting discs in separate quadrants so none overlap
    background = rng.integers(0, 256, 3)
    image = np.full((320, 320, 3), background, dtype=np.uint8)
    labels = []
    for qx, qy in [(0, 0), (160, 0), (0, 160), (160, 160)][: rng.integers(1, 5)]:
        r = int(rng.integers(10, 40))
        x, y = qx + int(rng.integers(r, 160 - r)), qy + int(rng.integers(r, 160 - r))
        color = (background + rng.integers(64, 193, 3)) % 256
        cv2.circle(image, (x, y), r, color.tolist(), thickness=-1)
        # The generator placed the disc, so its normalized box label is exact and free
        labels.append(f"0 {x / 320:.4f} {y / 320:.4f} {2 * r / 320:.4f} {2 * r / 320:.4f}")
    cv2.imwrite(f"synthetic_{i:03d}.jpg", image)
    with open(f"synthetic_{i:03d}.txt", "w") as f:
        f.write("\n".join(labels))
    boxes += len(labels)
print(f"wrote 100 images with {boxes} exact box labels")

它会打印 wrote 100 images with 256 exact box labels。每行都遵循YOLO 标签格式,并将类别以及边界框中心点、宽度和高度存储为图像尺寸的比例值,而且这些内容都不需要人工标注。

生成模型学习真实数据的外观,并从中采样新示例。生成对抗网络 (GANs)和扩散模型可以从噪声、文本提示或参考图像生成照片级真实感图像;ControlNet 等条件控制方法则能固定布局,从而确定对象位置。若没有这种条件控制,生成的图像还需要事后标注。对于表格,统计合成器会使用高斯 Copula、贝叶斯网络或 CTGAN 等条件 GAN(NeurIPS 2019)拟合真实记录的联合分布,然后采样生成新行。

大语言模型可以生成文本数据,包括指令、对话、代码练习和推理轨迹。Microsoft 使用 60 亿个经过筛选的网页文本 Token,以及 10 亿个由 GPT-3.5 编写的教材和练习 Token,训练了拥有 13 亿参数的代码模型 phi-1;该模型在 HumanEval 基准测试中的 pass@1 得分达到 50.6%。

选择和验证方法#

具体方法取决于数据必须包含什么,而每种方法最终都要通过同一项检查:与真实数据进行比较。

验证时,使用生成的数据(单独使用或与真实数据混合)训练模型,并且只在留出的真实测试数据上评估,例如 Ultralytics 对用于缺陷检测的 NVIDIA Cosmos 合成数据进行的基准测试。如果随着合成数据占比增加,真实图像上的准确率下降,就说明生成器在逼真度或覆盖范围方面存在不足;Fréchet Inception Distance (FID)等图像级分数有助于定位问题。使用真实数据训练的生成器也可能记住训练数据,因此涉及隐私的流水线会将生成记录与原始记录进行比对,有些还会在训练中加入差分隐私。

Ultralytics Platform通过生成相似图像操作,将图像生成集成到数据集管理中。该操作会从数据集中选取一张图像,编写受其启发的新场景描述,并默认使用 Ultralytics Image 4B 模型为每条描述生成一张图像;每次可生成 1 到 16 张图像,还可以根据可选指令改变光照、视角、背景或对象等内容。保留的图像会以无标签状态加入数据集,供后续标注。

  • 数据增强:在训练期间通过翻转、裁剪或颜色偏移变换现有真实样本,因此每个输出都与一个原始样本对应。
  • 生成式 AI:生成内容的模型所属的更广泛领域。生成模型是合成数据的来源之一,此外还有模拟器和程序化规则。
  • 合成数据:生成过程产出的数据集,可根据其对真实数据的还原度、对训练的实用性以及隐私保护效果进行评估。

探索解决方案

体育领域的计算机视觉

体育领域的计算机视觉

了解 Ultralytics YOLO 如何通过球员和球追踪、表现分析、教练洞察及运动员康复,推动体育视觉技术的发展。
了解详情
航空影像计算机视觉

航空影像计算机视觉

使用 Ultralytics YOLO 将无人机和航空影像转化为农业、水产养殖、保护工作和地理空间分析的实时洞察。
了解详情
航空航天中的计算机视觉

航空航天中的计算机视觉

使用 Ultralytics YOLO 将计算机视觉应用于航空航天领域,包括飞机检查、跑道 FOD 检测、机场地面作业和复合材料缺陷检测。
了解详情
安防领域的计算机视觉

安防领域的计算机视觉

使用 Ultralytics YOLO 模型守护每个场所。视觉 AI 可用于周界监控、威胁检测、车牌识别和工作场所安全。
了解详情
机器人领域的计算机视觉

机器人领域的计算机视觉

使用 Ultralytics YOLO 模型提升智能机器的能力。机器人领域的视觉 AI 可用于自主导航、感知、目标跟踪和实时控制。
了解详情
物流中的计算机视觉

物流中的计算机视觉

借助 Ultralytics YOLO 模型优化物流流程。视觉 AI 可用于包裹检查、分拣、车辆跟踪和仓库安全实时监控。
了解详情
零售中的计算机视觉

零售中的计算机视觉

借助 Ultralytics YOLO 模型重新构想零售。视觉 AI 可用于库存跟踪、货架监控、排队管理和更深入的客户洞察。
了解详情
医疗领域的计算机视觉

医疗领域的计算机视觉

借助 Ultralytics YOLO 模型构建医疗解决方案。医疗领域的视觉 AI 可加快医学影像处理、优化诊断并监测患者。
了解详情
制造业中的计算机视觉

制造业中的计算机视觉

利用 Ultralytics YOLO 模型优化制造流程。视觉 AI 可用于质量控制、缺陷检测、个人防护装备合规检查和装配线自动化。
了解详情
汽车领域的计算机视觉

汽车领域的计算机视觉

利用 Ultralytics YOLO 模型在汽车领域应用计算机视觉。视觉 AI 可提升道路安全、驾驶辅助和车辆自动化水平,让道路更智能。
了解详情
农业中的计算机视觉

农业中的计算机视觉

借助 Ultralytics YOLO 模型,将视觉 AI 引入智慧农业。为作物监测、牲畜追踪和精准农业提供支持,从而提高产量并实现更智能的生产。
了解详情

让我们携手构建 AI 的未来!

开启你的旅程,迎接机器学习的未来