Domain Randomization
도메인 무작위화는 텍스처, 조명, 카메라, 물리 조건을 무작위화한 시뮬레이션으로 모델을 학습해 실제 환경으로 전이되도록 합니다.
도메인 랜덤화는 시뮬레이션에서 모델을 학습시켜 실제 환경에서도 작동하도록 하는 기법입니다. 시뮬레이터는 현실과 완전히 일치하지 않으므로, 도메인 랜덤화는 텍스처, 색상, 조명, 카메라 자세, 객체 배치, 방해 객체, 질량과 마찰 같은 물리적 속성을 포함한 파라미터를 학습 중에 폭넓게 변화시킵니다. 그 결과 모델은 실제 환경을 또 하나의 변형으로 보게 됩니다. 도메인 랜덤화는 로보틱스, 컴퓨터 비전, 합성 데이터로 학습한 모델, 그리고 강화 학습으로 학습한 제어 정책에서 시뮬레이션과 실제 환경 간 격차를 줄이는 표준 기법입니다.
OpenAI와 UC Berkeley의 Josh Tobin과 동료들은 2017년 논문에서 비현실적인 무작위 텍스처가 적용된 시뮬레이션 이미지만으로 객체 위치를 찾도록 객체 탐지 네트워크를 학습하는 기법을 설명했습니다. 학습에 실제 이미지가 전혀 없었는데도 탐지기는 실제 환경에서 약 1.5 cm 이내의 오차로 객체를 찾았습니다. 이는 복잡한 환경에서도 로봇 팔이 객체를 집기에 충분한 정확도입니다.
무작위화하는 항목#
각 학습 샘플 또는 에피소드에서는 엔지니어가 파라미터별로 설정한 범위에서 새로운 값을 가져옵니다:
- 외관: 객체와 배경의 텍스처 및 색상, 조명의 수·위치·유형, 이미지 노이즈입니다.
- 카메라: 위치, 방향, 시야각을 변경하여 모델이 특정 시점 하나에 의존하지 않도록 합니다.
- 장면 구성: 방해 객체의 수, 모양, 위치를 변경하여 모델이 복잡한 배경과 부분 가림을 무시하도록 학습합니다.
- 동역학: 질량, 마찰, 관절 감쇠, 모터 강도, 제어 지연을 변경하여 학습된 제어 정책이 시뮬레이션 물리와 실제 물리 간의 차이를 견디도록 합니다.
학습에서는 모든 배치마다 이 샘플링을 반복하며, 범위를 변경할지 여부는 실제 환경에서의 결과로 판단합니다:
수천 가지 무작위 텍스처와 조명 아래에서 객체를 본 모델은 특정 텍스처나 조명에 의존할 수 없으므로, 모양과 기하 구조처럼 변화를 견디는 특징을 학습합니다. 다만 학습 문제가 더 어려워진다는 비용이 따릅니다. 무작위화된 데이터는 보통 더 긴 학습 시간과 더 큰 모델을 필요로 하며, 범위를 지나치게 넓게 설정하면 실제로 발생하지 않는 조건에 모델 용량을 낭비하고, 지나치게 좁게 설정하면 시뮬레이터에 과적합됩니다. 또한 변형 가능한 소재나 렌더링되지 않는 센서 아티팩트처럼 시뮬레이터가 모델링할 수 없는 요소를 무작위화로 보완할 수는 없습니다.
변형 및 결과#
NVIDIA 연구진은 2018년 자동차 탐지에 도메인 랜덤화를 적용했습니다. 무작위화한 합성 이미지로 학습한 다음 실제 KITTI 이미지로 파인 튜닝한 탐지기가 실제 데이터만으로 학습한 탐지기보다 우수한 성능을 보였습니다. 동역학 랜덤화는 이 아이디어를 이미지에서 물리로 확장하여 무작위화한 질량과 마찰 조건에서 로봇 제어 정책을 학습합니다. 자동 도메인 랜덤화는 좁은 범위에서 시작해 모델의 성능이 좋아질 때마다 범위를 넓히며, OpenAI는 2019년 이를 활용해 루빅스 큐브를 풀 수 있는 로봇 손을 학습했습니다. 구조화된 도메인 랜덤화는 자동차를 하늘이 아닌 도로에 배치하는 것처럼 현실적인 맥락 안에서 무작위화를 수행합니다.
도메인 랜덤화는 이제 체화된 AI에서 널리 사용됩니다. 비전 기반 픽 앤 플레이스 시스템과 드론 내비게이션, 자율주행차의 인식 스택을 학습하는 데 활용됩니다.
무작위화된 합성 데이터셋으로 Ultralytics YOLO를 학습하면 이미지 공간의 무작위화도 추가됩니다. 기본적으로 각 학습 샘플은 hsv_s 및 hsv_v 증강 설정에 따라 채도 계수 0.3~1.7과 밝기 계수 0.6~1.4를 무작위로 적용받으며, 이미지가 로드될 때마다 새로운 값을 가져옵니다.
도메인 랜덤화와 관련 용어 비교#
- 데이터 증강: 캡처하거나 렌더링한 이미지에 플립, 크롭, 색상 변경을 적용합니다. 도메인 랜덤화는 렌더링 전에 장면을 바꾸므로, 2D 변환으로는 다룰 수 없는 3D 조명, 재질, 시점을 변경할 수 있습니다.
- 비지도 도메인 적응 (UDA): 타깃 도메인의 레이블이 없는 이미지를 사용해 모델의 특징을 해당 도메인에 맞춥니다. 도메인 랜덤화는 학습 중 타깃 데이터를 필요로 하지 않습니다.
- 합성 데이터 생성: 인공 학습 데이터를 만드는 더 광범위한 과정이며, 도메인 랜덤화는 생성되는 각 샘플의 모양을 결정하는 전략 중 하나입니다.










