获取 YOLO 许可
返回 Ultralytics 术语表

Domain Randomization

领域随机化在纹理、光照、相机和物理参数均经过随机化的模拟环境中训练模型,使模型能够迁移到现实世界。

域随机化是一种在仿真环境中训练模型,使其能够在真实世界中工作的技术。仿真器永远无法与现实完全一致,因此域随机化会在训练期间大幅改变仿真器参数,包括纹理、颜色、光照、摄像头姿态、物体摆放、干扰物,以及质量和摩擦等物理属性,让模型把真实世界视为又一种变化。它是缩小机器人技术、基于合成数据训练的计算机视觉模型,以及通过强化学习学得的控制策略中的仿真到现实差距的标准工具。

OpenAI 和加州大学伯克利分校的 Josh Tobin 及其同事在一篇2017 年论文中介绍了这项技术:他们只用带有不真实随机纹理的模拟图像训练目标检测网络来定位物体。训练过程中没有使用真实图像,但检测器仍能在真实世界中将物体定位到约 1.5 cm 的误差范围内,精度足以让机械臂在杂乱环境中抓取物体。

随机化哪些内容#

每个训练样本或训练回合都会从工程师为每个参数设定的范围内抽取新值:

  • 外观:物体和背景的纹理与颜色、光源的数量、位置和类型,以及图像噪声。
  • 摄像头:位置、朝向和视野,让模型不会依赖某一个视角。
  • 场景内容:干扰物的数量、形状和位置,让模型学会忽略杂乱背景和局部遮挡。
  • 动力学:质量、摩擦、关节阻尼、电机强度和控制延迟,让学到的控制策略能够容忍仿真物理与真实物理之间的差异。

训练会在每个批次中重复这些采样,而是否需要调整范围,则由真实世界的结果决定:

如果模型在数千种随机纹理和光照下看到同一个物体,就无法依赖任何一种特定纹理或光照,因此会学到能够经受变化的特征,例如形状和几何结构。代价是学习问题更难:随机化数据通常需要更长的训练时间和更大的模型;范围设得太宽会把模型容量浪费在现实中不会出现的条件上,设得太窄则会导致模型对仿真器过拟合。此外,随机化无法提供仿真器无法建模的内容,例如可变形材料或仿真器未渲染的传感器伪影。

变体与结果#

NVIDIA 的研究人员在 2018 年将域随机化用于汽车检测,发现先在随机化合成图像上训练、再用真实 KITTI 图像微调的检测器,表现优于仅用真实数据训练的检测器。动力学随机化将这一思路从图像扩展到物理世界,让机器人控制策略在随机变化的质量和摩擦条件下训练。自动域随机化从较窄的范围开始,并随着模型取得成功逐步扩大各个范围;OpenAI 在 2019 年用这种方法训练机械手成功还原魔方。结构化域随机化会将随机变化限制在合理的上下文中,例如把汽车放在道路上,而不是天空中。

域随机化如今已广泛用于具身 AI:它可训练视觉引导的抓取与放置系统、无人机导航,以及自动驾驶车辆的感知系统。

在随机化合成数据集上训练 Ultralytics YOLO,还会叠加图像空间的随机化:默认情况下,每次加载图像时,都会从 hsv_s 和 hsv_v 增强设置中重新抽取随机饱和度因子(0.3 到 1.7)和随机亮度因子(0.6 到 1.4),并应用于每个训练样本。

  • 数据增强:图像采集或渲染完成后,通过翻转、裁剪和颜色偏移等方式变换图像。域随机化则在渲染前改变场景,因此能够改变 2D 变换无法触及的 3D 光照、材质和视角。
  • 无监督域自适应 (UDA):使用来自目标域的无标签图像,让模型特征与该域对齐。域随机化在训练期间不需要目标域数据。
  • 合成数据生成:生成合成人工训练数据的更广泛流程,而域随机化是其中一种用于决定每个生成样本外观的策略。

探索解决方案

体育领域的计算机视觉

体育领域的计算机视觉

了解 Ultralytics YOLO 如何通过球员和球追踪、表现分析、教练洞察及运动员康复,推动体育视觉技术的发展。
了解详情
航空影像计算机视觉

航空影像计算机视觉

使用 Ultralytics YOLO 将无人机和航空影像转化为农业、水产养殖、保护工作和地理空间分析的实时洞察。
了解详情
航空航天中的计算机视觉

航空航天中的计算机视觉

使用 Ultralytics YOLO 将计算机视觉应用于航空航天领域,包括飞机检查、跑道 FOD 检测、机场地面作业和复合材料缺陷检测。
了解详情
安防领域的计算机视觉

安防领域的计算机视觉

使用 Ultralytics YOLO 模型守护每个场所。视觉 AI 可用于周界监控、威胁检测、车牌识别和工作场所安全。
了解详情
机器人领域的计算机视觉

机器人领域的计算机视觉

使用 Ultralytics YOLO 模型提升智能机器的能力。机器人领域的视觉 AI 可用于自主导航、感知、目标跟踪和实时控制。
了解详情
物流中的计算机视觉

物流中的计算机视觉

借助 Ultralytics YOLO 模型优化物流流程。视觉 AI 可用于包裹检查、分拣、车辆跟踪和仓库安全实时监控。
了解详情
零售中的计算机视觉

零售中的计算机视觉

借助 Ultralytics YOLO 模型重新构想零售。视觉 AI 可用于库存跟踪、货架监控、排队管理和更深入的客户洞察。
了解详情
医疗领域的计算机视觉

医疗领域的计算机视觉

借助 Ultralytics YOLO 模型构建医疗解决方案。医疗领域的视觉 AI 可加快医学影像处理、优化诊断并监测患者。
了解详情
制造业中的计算机视觉

制造业中的计算机视觉

利用 Ultralytics YOLO 模型优化制造流程。视觉 AI 可用于质量控制、缺陷检测、个人防护装备合规检查和装配线自动化。
了解详情
汽车领域的计算机视觉

汽车领域的计算机视觉

利用 Ultralytics YOLO 模型在汽车领域应用计算机视觉。视觉 AI 可提升道路安全、驾驶辅助和车辆自动化水平,让道路更智能。
了解详情
农业中的计算机视觉

农业中的计算机视觉

借助 Ultralytics YOLO 模型,将视觉 AI 引入智慧农业。为作物监测、牲畜追踪和精准农业提供支持,从而提高产量并实现更智能的生产。
了解详情

让我们携手构建 AI 的未来!

开启你的旅程,迎接机器学习的未来