Domain Randomization
领域随机化在纹理、光照、相机和物理参数均经过随机化的模拟环境中训练模型,使模型能够迁移到现实世界。
域随机化是一种在仿真环境中训练模型,使其能够在真实世界中工作的技术。仿真器永远无法与现实完全一致,因此域随机化会在训练期间大幅改变仿真器参数,包括纹理、颜色、光照、摄像头姿态、物体摆放、干扰物,以及质量和摩擦等物理属性,让模型把真实世界视为又一种变化。它是缩小机器人技术、基于合成数据训练的计算机视觉模型,以及通过强化学习学得的控制策略中的仿真到现实差距的标准工具。
OpenAI 和加州大学伯克利分校的 Josh Tobin 及其同事在一篇2017 年论文中介绍了这项技术:他们只用带有不真实随机纹理的模拟图像训练目标检测网络来定位物体。训练过程中没有使用真实图像,但检测器仍能在真实世界中将物体定位到约 1.5 cm 的误差范围内,精度足以让机械臂在杂乱环境中抓取物体。
随机化哪些内容#
每个训练样本或训练回合都会从工程师为每个参数设定的范围内抽取新值:
- 外观:物体和背景的纹理与颜色、光源的数量、位置和类型,以及图像噪声。
- 摄像头:位置、朝向和视野,让模型不会依赖某一个视角。
- 场景内容:干扰物的数量、形状和位置,让模型学会忽略杂乱背景和局部遮挡。
- 动力学:质量、摩擦、关节阻尼、电机强度和控制延迟,让学到的控制策略能够容忍仿真物理与真实物理之间的差异。
训练会在每个批次中重复这些采样,而是否需要调整范围,则由真实世界的结果决定:
如果模型在数千种随机纹理和光照下看到同一个物体,就无法依赖任何一种特定纹理或光照,因此会学到能够经受变化的特征,例如形状和几何结构。代价是学习问题更难:随机化数据通常需要更长的训练时间和更大的模型;范围设得太宽会把模型容量浪费在现实中不会出现的条件上,设得太窄则会导致模型对仿真器过拟合。此外,随机化无法提供仿真器无法建模的内容,例如可变形材料或仿真器未渲染的传感器伪影。
变体与结果#
NVIDIA 的研究人员在 2018 年将域随机化用于汽车检测,发现先在随机化合成图像上训练、再用真实 KITTI 图像微调的检测器,表现优于仅用真实数据训练的检测器。动力学随机化将这一思路从图像扩展到物理世界,让机器人控制策略在随机变化的质量和摩擦条件下训练。自动域随机化从较窄的范围开始,并随着模型取得成功逐步扩大各个范围;OpenAI 在 2019 年用这种方法训练机械手成功还原魔方。结构化域随机化会将随机变化限制在合理的上下文中,例如把汽车放在道路上,而不是天空中。
域随机化如今已广泛用于具身 AI:它可训练视觉引导的抓取与放置系统、无人机导航,以及自动驾驶车辆的感知系统。
在随机化合成数据集上训练 Ultralytics YOLO,还会叠加图像空间的随机化:默认情况下,每次加载图像时,都会从 hsv_s 和 hsv_v 增强设置中重新抽取随机饱和度因子(0.3 到 1.7)和随机亮度因子(0.6 到 1.4),并应用于每个训练样本。
域随机化与相关术语的比较#
- 数据增强:图像采集或渲染完成后,通过翻转、裁剪和颜色偏移等方式变换图像。域随机化则在渲染前改变场景,因此能够改变 2D 变换无法触及的 3D 光照、材质和视角。
- 无监督域自适应 (UDA):使用来自目标域的无标签图像,让模型特征与该域对齐。域随机化在训练期间不需要目标域数据。
- 合成数据生成:生成合成人工训练数据的更广泛流程,而域随机化是其中一种用于决定每个生成样本外观的策略。










