Лицензия YOLO
Назад к глоссарию Ultralytics

Domain Randomization

Рандомизация домена обучает модели на симуляциях со случайными текстурами, освещением, камерами и физическими параметрами, чтобы перенести их в реальный мир.

Рандомизация домена — это метод обучения моделей в симуляции, позволяющий им работать в реальном мире. Симулятор никогда не соответствует реальности полностью, поэтому при рандомизации домена его параметры варьируются — текстуры, цвета, освещение, положение камеры, размещение объектов, отвлекающие объекты и физические свойства, такие как масса и трение, — настолько широко, что во время обучения реальный мир кажется модели еще одним вариантом. Это стандартный инструмент для сокращения разрыва между симуляцией и реальностью в робототехнике, моделях компьютерного зрения, обученных на синтетических данных, и стратегиях управления, освоенных с помощью обучения с подкреплением.

Джош Тобин и его коллеги из OpenAI и UC Berkeley описали этот метод в статье 2017 года: они обучили сеть детекции объектов находить объекты, используя только симулированные изображения с нереалистичными случайными текстурами. Хотя в обучении не использовались реальные изображения, детектор находил объекты в реальном мире с точностью около 1,5 см — этого достаточно, чтобы роботизированный манипулятор мог захватить их среди других предметов.

Что подвергается рандомизации#

Для каждого обучающего примера или эпизода из заданных инженерами диапазонов выбираются новые значения параметров:

  • Внешний вид: текстуры и цвета объектов и фона, количество, положение и тип источников света, а также шум изображения.
  • Камера: положение, ориентация и поле зрения, чтобы модель не зависела от одной точки обзора.
  • Содержимое сцены: количество, форма и положение отвлекающих объектов, которые учат модель игнорировать беспорядок и частичную окклюзию.
  • Динамика: массы, трение, демпфирование суставов, мощность двигателей и задержка управления, чтобы освоенная стратегия управления выдерживала расхождения между симулированной и реальной физикой.

Обучение повторяет эту выборку для каждого батча, а результаты в реальном мире показывают, нужно ли менять диапазоны:

Модель, которая видит объект при тысячах случайных текстур и вариантов освещения, не может полагаться на какую-то одну текстуру или один вариант освещения, поэтому она усваивает признаки, сохраняющиеся при изменениях, например форму и геометрию. Но задача обучения усложняется: для рандомизированных данных обычно требуется больше обучения и модели большего размера; слишком широкие диапазоны расходуют ресурсы на условия, которые никогда не встречаются, а слишком узкие приводят к переобучению на симуляторе. Рандомизация также не может добавить то, что симулятор не способен моделировать, например деформируемые материалы или артефакты датчиков, которые он не отображает.

Варианты и результаты#

В 2018 году исследователи NVIDIA применили рандомизацию домена для обнаружения автомобилей и выяснили, что детектор, обученный на рандомизированных синтетических изображениях, а затем дообученный на реальных изображениях KITTI, превосходил модель, обученную только на реальных данных. Рандомизация динамики перенесла эту идею с изображений на физику: стратегии управления роботами обучались со случайными массами и трением. При автоматической рандомизации домена сначала задаются узкие диапазоны, а затем каждый из них расширяется по мере успеха модели; в 2019 году OpenAI использовала этот подход для обучения роботизированной руки, решавшей кубик Рубика. Структурированная рандомизация домена ограничивает случайные изменения реалистичным контекстом: например, автомобили размещаются на дорогах, а не в небе.

Рандомизация домена широко используется в воплощенном ИИ: с ее помощью обучают системы захвата и размещения объектов под управлением зрения, навигацию дронов и системы восприятия автономных автомобилей.

Обучение Ultralytics YOLO на рандомизированном синтетическом наборе данных дополняется рандомизацией в пространстве изображений: по умолчанию каждый обучающий пример при загрузке получает случайный коэффициент насыщенности от 0.3 до 1.7 и случайный коэффициент яркости от 0.6 до 1.4. Эти значения берутся из настроек аугментации hsv_s и hsv_v и генерируются заново при каждой загрузке изображения.

  • Аугментация данных: преобразует уже снятые или отрендеренные изображения, применяя отражения, кадрирование и изменение цветов. Рандомизация домена меняет сцену до рендеринга, поэтому позволяет варьировать освещение в 3D, материалы и точку обзора, чего не добиться 2D-преобразованиями.
  • Неконтролируемая адаптация домена (UDA): использует неразмеченные изображения целевого домена, чтобы согласовать признаки модели с этим доменом. При рандомизации домена целевые данные во время обучения не нужны.
  • Генерация синтетических данных: более широкий процесс создания искусственных обучающих данных, в котором рандомизация домена — одна из стратегий выбора внешнего вида каждого сгенерированного примера.

Изучи решения

Компьютерное зрение в спорте

Компьютерное зрение в спорте

Узнай, как Ultralytics YOLO обеспечивает компьютерное зрение в спорте: отслеживание игроков и мяча, аналитика результатов, полезные выводы для тренеров и реабилитация спортсменов.
Подробнее
Компьютерное зрение для аэросъёмки

Компьютерное зрение для аэросъёмки

Превращай снимки с дронов и аэрофотоснимки в полезные данные в реальном времени для сельского хозяйства, аквакультуры, охраны природы и геопространственного анализа с Ultralytics YOLO.
Подробнее
Компьютерное зрение в аэрокосмической отрасли

Компьютерное зрение в аэрокосмической отрасли

Применяй компьютерное зрение в аэрокосмической отрасли с Ultralytics YOLO: для осмотра самолётов, обнаружения посторонних предметов на взлётно-посадочных полосах, наземного обслуживания аэропортов и выявления дефектов композитных материалов.
Подробнее
Компьютерное зрение в сфере безопасности

Компьютерное зрение в сфере безопасности

Защити любой объект с помощью моделей Ultralytics YOLO. ИИ на базе компьютерного зрения обеспечивает мониторинг периметра, обнаружение угроз, распознавание номерных знаков и безопасность на рабочем месте.
Подробнее
Компьютерное зрение в робототехнике

Компьютерное зрение в робототехнике

Создавай более интеллектуальные машины с моделями Ultralytics YOLO. ИИ на базе компьютерного зрения в робототехнике обеспечивает автономную навигацию, восприятие, отслеживание объектов и управление в реальном времени.
Подробнее
Компьютерное зрение в логистике

Компьютерное зрение в логистике

Оптимизируй логистику с моделями Ultralytics YOLO. Визуальный AI обеспечивает проверку посылок, сортировку, отслеживание транспорта и мониторинг безопасности на складе в реальном времени.
Подробнее
Компьютерное зрение в розничной торговле

Компьютерное зрение в розничной торговле

Переосмысли розничную торговлю с моделями Ultralytics YOLO. Визуальный AI обеспечивает отслеживание запасов, мониторинг полок, управление очередями и более глубокое понимание поведения покупателей.
Подробнее
Компьютерное зрение в здравоохранении

Компьютерное зрение в здравоохранении

Создавай решения для здравоохранения с моделями Ultralytics YOLO. Визуальный AI в здравоохранении ускоряет медицинскую визуализацию, улучшает диагностику и мониторинг пациентов.
Подробнее
Компьютерное зрение в производстве

Компьютерное зрение в производстве

Оптимизируй производство с моделями Ultralytics YOLO. Компьютерное зрение на базе ИИ обеспечивает контроль качества, обнаружение дефектов, контроль использования СИЗ и автоматизацию сборочных линий.
Подробнее
Компьютерное зрение в автомобильной отрасли

Компьютерное зрение в автомобильной отрасли

Применяй компьютерное зрение в автомобильной отрасли с моделями Ultralytics YOLO. Компьютерное зрение на базе ИИ повышает безопасность дорожного движения, улучшает помощь водителю и автоматизацию автомобилей, делая дороги умнее.
Подробнее
Компьютерное зрение в сельском хозяйстве

Компьютерное зрение в сельском хозяйстве

Внедряй ИИ для компьютерного зрения в умное сельское хозяйство с моделями Ultralytics YOLO. Используй их для мониторинга посевов, отслеживания скота и точного земледелия, чтобы повысить урожайность и эффективность.
Подробнее

Давай вместе строить будущее ИИ!

Начни свой путь в будущее машинного обучения