Diffusion Policies

Диффузионные политики знаменуют смену парадигмы в робототехнике и машинном обучении, где зрительно-моторная политика ИИ-агента моделируется как условный процесс диффузионного удаления шума. Традиционно клонирование поведения — форма обучения с подражанием — основывается на прямой регрессии для предсказания одного детерминированного действия по сенсорным данным. Хотя этот подход работает для простых задач, прямая регрессия часто дает сбой, когда существует несколько допустимых действий, что приводит к нестабильным или небезопасным усредненным движениям. Диффузионные политики решают эту проблему, представляя генерацию действий как задачу последовательного уточнения. Начиная с полностью случайного шума, алгоритм итеративно удаляет шум из сигнала, учитывая сенсорные наблюдения, такие как изображения или данные о пространственном состоянии, чтобы создавать высокоточные, надежные и мультимодальные последовательности действий.

Как работают диффузионные политики#

В основе механики лежит математика генеративного моделирования, адаптирующая методы, первоначально разработанные для высококачественного синтеза изображений в исходной статье о зрительно-моторных диффузионных политиках. На этапе обучения, известном как прямой процесс, к оптимальным траекториям действий эксперта постепенно добавляются небольшие объемы шума. Затем нейронную сеть обучают предсказывать этот шум и устранять его на основе заданного контекста наблюдений.

Во время вывода, когда робот взаимодействует с окружающей средой, он наблюдает за своим окружением, инициализирует случайную последовательность действий и удаляет из нее шум с помощью стохастической динамики Ланжевена. Такая итеративная оптимизация создает детализированные, плавные команды управления, способные работать со сложными многомерными пространствами действий.

Практические применения#

Точно представляя сложные распределения без коллапса мод, диффузионные политики активно меняют современный подход к физическому искусственному интеллекту.

• Роботизированные манипуляции: В промышленности роботизированные манипуляторы используют эти политики для выполнения ловких задач с большим количеством контактов, таких как захват объектов неправильной формы, сборка сложной электроники или плавное наливание жидкостей.
• Автономная навигация: Системы беспилотного вождения и дроны объединяют оценку глубины с диффузионными политиками, чтобы планировать безопасные непрерывные траектории в динамической среде и плавно адаптироваться к внезапным препятствиям, которые в противном случае могли бы сбить с толку стандартные модели обучения с подкреплением.

Различия между ключевыми терминами#

Чтобы прояснить конкретную функцию диффузионных политик, полезно отличить их от тесно связанных генеративных архитектур:

• Диффузионные политики и диффузионные модели: Диффузионные модели — это общее название базовой генеративной архитектуры, используемой для создания статических данных, например при синтезе изображений по текстовому описанию. Диффузионные политики применяют этот конкретный механизм для предсказания непрерывных временных рядов команд управления активными роботами.
• Диффузионные политики и Diffusion Forcing: Diffusion Forcing — это универсальная платформа генерации последовательностей, в которой каузальные Transformer обучаются с использованием различных уровней шума для каждого токена. Хотя эти подходы связаны, Diffusion Forcing в значительной степени сосредоточен на авторегрессионном предсказании, тогда как диффузионные политики строго обозначают стратегию обучения с подражанием для зрительно-моторного управления.

Последние достижения в обучении политик#

Исследования, проводимые ведущими организациями, включая исследовательские инициативы OpenAI и робототехнические проекты Google DeepMind, продолжают расширять границы возможностей этих алгоритмов. Примечательно, что 3D Diffusion Policy (DP3), опубликованная на arXiv в 2024 году, стала важным прорывом, поскольку в ней политики основываются на компактных представлениях 3D-облаков точек, а не на простых 2D-изображениях. Это значительно улучшило пространственное восприятие роботов и при этом резко сократило количество необходимых демонстраций эксперта. Дальнейшие инновации, такие как D3P: динамическая диффузионная политика с удалением шума, начали решать проблему низкой скорости вывода стандартных диффузионных моделей, динамически пропуская этапы удаления шума для обычных действий и обеспечивая отклик в реальном времени.

Практическая реализация с компьютерным зрением#

Прежде чем диффузионная политика сможет сгенерировать действие, ей требуется четкое структурированное представление об окружающей среде. Инженеры часто объединяют надежные модели обнаружения объектов с алгоритмами политик, формируя полноценный конвейер компьютерного зрения. Например, быстрая модель восприятия, такая как Ultralytics YOLO26, может в реальном времени выделять целевые объекты и передавать их пространственные координаты в диффузионную политику на базе библиотеки PyTorch.

import torch
from ultralytics import YOLO

# Load the Ultralytics YOLO26 Nano model for high-speed robotic perception
model = YOLO("yolo26n.pt")

# Predict bounding boxes on the robot's active camera feed
results = model.predict("robot_camera_feed.jpg")

# Condition the policy by extracting the bounding box center coordinate
if len(results[0].boxes) > 0:
    box = results[0].boxes[0].xyxy.squeeze()
    center_x = (box[0] + box[2]) / 2.0
    center_y = (box[1] + box[3]) / 2.0

    # Create a spatial observation tensor to condition the PyTorch Diffusion Policy.
    # This directly guides the denoising process to generate accurate motor actions.
    observation_state = torch.tensor([center_x, center_y])
    print(f"Conditioning action trajectory on object center: {observation_state}")

Чтобы упростить этот рабочий процесс, разработчики могут использовать Ultralytics Platform и быстрые инструменты автоматической разметки для создания специализированных наборов данных. Такая комплексная поддержка ускоряет развертывание моделей, превращая необработанные видеопотоки с камер в практически применимый роботизированный интеллект.