Обучение с подкреплением на основе обратной связи от человека (RLHF)

Reinforcement Learning from Human Feedback (RLHF) is an advanced machine learning technique that refines artificial intelligence models by incorporating direct human input into the training loop. Unlike standard supervised learning, which relies solely on static labeled datasets, RLHF introduces a dynamic feedback mechanism where human evaluators rank or rate the model's outputs. This process allows the AI to capture complex, subjective, or nuanced goals—such as "helpfulness," "safety," or "creativity"—that are difficult to define with a simple mathematical loss function. RLHF has become a cornerstone in the development of modern large language models (LLMs) and generative AI, ensuring that powerful foundation models align effectively with human values and user intent.

Основные компоненты RLHF

Процесс RLHF обычно состоит из трех этапов, призванных преодолеть разрыв между сырыми прогнозирующими возможностями и поведением, ориентированным на человека.

1. Контролируемая точная настройка (SFT): Рабочий процесс обычно начинается с предварительно обученной базовой модели. Разработчики выполняют первоначальную точную настройку, используя небольшой высококачественный набор данных демонстраций (например, пары вопросов и ответов, написанные экспертами). Этот шаг устанавливает базовую политику, обучая модель общему формату и тону, ожидаемому для задачи.
2. Reward Model Training: This phase is the distinguishing feature of RLHF. Human annotators review multiple outputs generated by the model for the same input and rank them from best to worst. This data labeling effort generates a dataset of preferences. A separate neural network, called the reward model, is trained on this comparison data to predict a scalar score that reflects human judgment. Tools available on the Ultralytics Platform can streamline the management of such annotation workflows.
3. Reinforcement Learning Optimization: Finally, the original model acts as an AI agent within a reinforcement learning environment. Using the reward model as a guide, optimization algorithms like Proximal Policy Optimization (PPO) adjust the model's parameters to maximize the expected reward. This step aligns the model's policy with the learned human preferences, encouraging behaviors that are helpful and safe while discouraging toxic or nonsensical outputs.

Применение в реальном мире

RLHF has proven critical in deploying AI systems that require high safety standards and a nuanced understanding of human interaction.

• Разговорный ИИ и чат-боты: Наиболее известное применение RLHF — это настройка чат-ботов, чтобы они были полезными, безвредными и честными. Штрафуя результаты, которые являются предвзятыми, фактически неверными или опасными, RLHF помогает смягчить галлюцинации в LLM и снижает риск алгоритмической предвзятости. Это гарантирует, что виртуальные помощники могут отклонять вредные инструкции, оставаясь полезными для законных запросов.
• Робототехника и физический контроль: RLHF выходит за рамки текста и распространяется на ИИ в робототехнике, где определение идеальной функции вознаграждения для сложных физических задач является сложной задачей. Например, робот, обучающийся навигации по переполненному складу, может получать отзывы от человеческих супервайзеров о том, какие траектории были безопасными, а какие вызывали сбои. Эти отзывы совершенствуют политику управления роботом более эффективно, чем простое глубокое обучение с подкреплением, основанное исключительно на достижении цели.

RLHF по сравнению со стандартным обучением с подкреплением

Чтобы понять специфическую полезность RLHF, полезно отличать его от традиционного обучения с подкреплением (RL).

• Стандартный RL: В традиционных условиях функция вознаграждения часто жестко запрограммирована средой. Например, в видеоигре среда дает четкий сигнал (+1 за победу, -1 за поражение). Агент оптимизирует свои действия в рамках этого определенного марковского процесса принятия решений (MDP).
• RLHF: Во многих реальных сценариях, таких как написание творческого рассказа или вежливое вождение автомобиля, «успех» является субъективным понятием. RLHF решает эту проблему, заменяя жестко запрограммированное вознаграждение моделью вознаграждения, основанной на предпочтениях человека. Это позволяет оптимизировать абстрактные понятия, такие как «качество» или «уместность», которые невозможно запрограммировать явно.

Интеграция восприятия с циклами обратной связи

В визуальных приложениях агенты, ориентированные на RLHF, часто полагаются на компьютерное зрение (CV) для восприятия состояния своей среды перед действием. Надежный детектор, такой как YOLO26, функционирует как слой восприятия, предоставляя структурированные наблюдения (например, «препятствие обнаружено на расстоянии 3 метров»), которые сеть политик использует для выбора действия.

The following Python example illustrates a simplified concept where a YOLO model provides the environmental state. In a full RLHF loop, the "reward" signal would come from a model trained on human feedback regarding the agent's decisions based on this detection data.

from ultralytics import YOLO

# Load YOLO26n to act as the perception layer for an intelligent agent
model = YOLO("yolo26n.pt")

# The agent observes the environment (an image) to determine its state
results = model("https://ultralytics.com/images/bus.jpg")

# In an RL context, the 'state' is derived from detections
# A reward model (trained via RLHF) would evaluate the action taken based on this state
detected_objects = len(results[0].boxes)

print(f"Agent Observation: Detected {detected_objects} objects.")
# Example output: Agent Observation: Detected 4 objects.

Объединяя мощные модели восприятия с политиками, усовершенствованными с помощью обратной связи от людей, разработчики могут создавать системы, которые не только интеллектуальны, но и строго соответствуют принципам безопасности ИИ. Продолжающиеся исследования в области масштабируемого надзора, такие как Constitutional AI, продолжают развивать эту область, стремясь уменьшить узкое место крупномасштабных аннотаций, выполняемых людьми, при одновременном поддержании высокой производительности моделей.