Domain Randomization
ドメインランダム化では、テクスチャ、照明、カメラ、物理特性をランダム化したシミュレーションでモデルを学習させ、現実世界への転移を可能にします。
ドメインランダム化とは、シミュレーション内でモデルを学習させ、実世界でも動作するようにする手法です。シミュレーターが現実と完全に一致することはないため、ドメインランダム化ではテクスチャ、色、照明、カメラの姿勢、物体の配置、妨害物体、質量や摩擦などの物理特性を含むパラメーターを変化させます。学習中に大きく変化させることで、モデルにとって実世界も単なる別の変化の一つに見えるようにします。これは、ロボティクス、合成データで学習したコンピュータービジョンモデル、強化学習で学習した制御ポリシーにおいて、シミュレーションと実世界のギャップを埋めるための標準的な手法です。
OpenAIとUC BerkeleyのJosh Tobin氏らは、2017年の論文でこの手法を説明しました。この研究では、現実とは異なるランダムなテクスチャを使ったシミュレーション画像だけで物体検出ネットワークを学習させ、物体の位置を特定しました。学習に実画像を一切使わなかったにもかかわらず、検出器は実世界で物体の位置を約1.5 cm以内の精度で特定しました。これは、雑然とした環境でロボットアームが物体をつかむのに十分な精度です。
ランダム化する要素#
各学習サンプルまたはエピソードでは、エンジニアがパラメーターごとに設定した範囲から新しい値を抽出します。
- 外観: 物体や背景のテクスチャと色、照明の数・位置・種類、画像ノイズ。
- カメラ: 位置、向き、視野角を変え、モデルが特定の視点に依存しないようにします。
- シーンの内容: 妨害物体の数、形状、位置を変え、モデルが雑然とした環境や部分的なオクルージョンを無視できるようにします。
- ダイナミクス: 質量、摩擦、関節の減衰、モーターの強さ、制御レイテンシーを変え、学習した制御ポリシーがシミュレーションと実世界の物理特性の違いに対応できるようにします。
学習ではバッチごとにこのサンプリングを繰り返し、実世界での結果を見て範囲を変更する必要があるか判断します。
何千通りものランダムなテクスチャや照明の下で物体を見たモデルは、特定のテクスチャや照明に頼れなくなるため、形状や幾何学的特徴など、変化に左右されない特徴を学習します。その代わり、学習の難易度は上がります。ランダム化したデータでは通常、より長い学習と大規模なモデルが必要です。範囲を広く設定しすぎると実際には生じない条件にモデルの容量を浪費し、狭く設定しすぎるとシミュレーターに過学習します。また、シミュレーターがモデル化できない変形可能な素材や、レンダリングされないセンサーアーティファクトなどは、ランダム化しても補えません。
手法の種類と成果#
NVIDIAの研究者は2018年に車両検出へドメインランダム化を適用し、ランダム化した合成画像で学習した検出器を実際のKITTI画像でファインチューニングすると、実データだけで学習した検出器を上回ることを示しました。ダイナミクスのランダム化によって、この考え方は画像から物理特性へと広がり、質量や摩擦をランダム化した条件下でロボットの制御ポリシーを学習させるようになりました。自動ドメインランダム化では狭い範囲から開始し、モデルが成功するたびに各範囲を広げます。OpenAIは2019年にこの手法を使って、ルービックキューブを解くロボットハンドを学習させました。構造化ドメインランダム化では、たとえば車を空ではなく道路に配置するなど、現実的な状況の範囲内でランダム化します。
ドメインランダム化は現在、エンボディドAIで広く使われています。視覚誘導型のピックアンドプレースシステムやドローンナビゲーションの学習、自動運転車の認識スタックに利用されています。
ランダム化した合成データセットでUltralytics YOLOを学習させる場合、画像空間のランダム化も追加されます。デフォルトでは、画像を読み込むたびに、各学習サンプルにhsv_sおよびhsv_vのデータ拡張設定から、彩度係数0.3~1.7と明るさ係数0.6~1.4がランダムに割り当てられます。
ドメインランダム化と関連用語の比較#
- データ拡張: 撮影またはレンダリング済みの画像に、反転、クロップ、色調変更を適用します。ドメインランダム化はレンダリング前にシーンを変更するため、2D変換では扱えない3D照明、素材、視点を変化させられます。
- 教師なしドメイン適応(UDA): ターゲットドメインのラベルなし画像を使い、モデルの特徴をそのドメインに適合させます。ドメインランダム化では、学習中にターゲットデータを必要としません。
- 合成データ生成: 人工的な学習データを作成する、より広範なプロセスです。ドメインランダム化は、その中で生成する各サンプルの外観を決める一つの手法です。










