Reward Modeling

Моделирование вознаграждения — это метод машинного обучения, который используется для обучения систем искусственного интеллекта тому, как оценивать и приоритизировать собственное поведение на основе предпочтений человека. В традиционных средах обучения с подкреплением AI-агент учится путем максимизации предопределенной, математически жесткой функции вознаграждения, например, счета в видеоигре. Однако для сложных реальных задач, где «хорошее» поведение является субъективным или нюансированным — например, написание вежливого электронного письма или безопасное прохождение перекрестка, — вручную написать безупречную функцию вознаграждения практически невозможно. Моделирование вознаграждения решает эту проблему путем обучения вторичной нейронной сети (модели вознаграждения), которая выступает в роли прокси для суждений человека. Эта модель оценивает выходные данные основного AI и присваивает скалярные баллы, динамически направляя основную модель к безопасному, полезному и точному поведению.

Link to this sectionКак работает моделирование вознаграждения#

Конвейер для построения модели вознаграждения в значительной степени опирается на сбор высококачественной обратной связи от людей.

• Разметка данных и предпочтения: Аннотаторам-людям предоставляются подсказки вместе с несколькими ответами, сгенерированными AI-моделью. Оценщики ранжируют эти ответы от лучших к худшим на основе таких критериев, как полезность, безвредность и точность. Управление этими крупномасштабными рабочими процессами аннотирования может быть легко реализовано с помощью платформы Ultralytics.
• Обучение прокси-сети: Специализированная нейронная сеть обучается на этом наборе данных человеческих сравнений. В процессе оптимизации она учится предсказывать, какой результат предпочел бы человек, отображая эмбеддинги действия или текстового ответа в одно скалярное значение вознаграждения. Ты можешь подробнее прочитать о построении архитектур нейронных сетей в документации PyTorch API.
• Оптимизация политики: Основная модель использует непрерывную обратную связь от модели вознаграждения для уточнения своих действий, обычно используя алгоритмы, такие как Proximal Policy Optimization (PPO). Этот шаг итеративно приводит политику модели в соответствие с изученными намерениями человека.

Link to this sectionМоделирование вознаграждения против RLHF#

Важно различать моделирование вознаграждения и обучение с подкреплением на основе обратной связи от человека (RLHF). Хотя эти два термина часто обсуждаются вместе, они не являются синонимами. RLHF — это комплексный сквозной конвейер, используемый для выравнивания моделей, включающий обучение с учителем, сбор данных и обновление политики. Моделирование вознаграждения — это конкретный, важный компонент внутри конвейера RLHF. Оно служит мостом, который преобразует дискретные человеческие ранги в непрерывный математический сигнал, на основе которого алгоритм обучения с подкреплением может выполнять оптимизацию.

Link to this sectionРеальные приложения#

Моделирование вознаграждения играет важную роль в разработке современных AI-систем, которые взаимодействуют напрямую с людьми и физическим миром.

• Большие языковые модели (LLM): Разговорные AI-ассистенты полагаются на модели вознаграждения, чтобы гарантировать, что их ответы не только фактически верны, но также вежливы, релевантны и свободны от токсичных выражений. Организации, изучающие AI-безопасность, постоянно совершенствуют моделирование вознаграждения для создания систем, которые отражают полезное и безвредное AI-выравнивание.
• Автономные транспортные средства и робототехника: В физической автоматизации модели вознаграждения помогают роботам понимать сложный этикет вождения или стратегии манипулирования объектами. Система восприятия, работающая на базе Ultralytics YOLO26, может обнаруживать пешеходов и дорожные знаки, в то время как модель вознаграждения оценивает запланированную траекторию транспортного средства, гарантируя, что AI отдает приоритет комфорту и безопасности пассажиров, а не сугубо агрессивной навигации из точки в точку.

Link to this sectionРеализация базовой концепции модели вознаграждения#

В следующем примере на Python используется torch для демонстрации фундаментальной структуры модели вознаграждения. На практике эта сеть учится присваивать более высокий скалярный балл результату, который соответствует предпочтениям человека.

import torch
import torch.nn as nn


# Define a simplified reward model architecture
class SimpleRewardModel(nn.Module):
    def __init__(self):
        super().__init__()
        # Maps the AI's output embedding to a single reward score
        self.fc = nn.Linear(768, 1)

    def forward(self, embeddings):
        return self.fc(embeddings)


# Initialize the model
reward_model = SimpleRewardModel()

# Simulated embeddings for a human-preferred action and a rejected action
chosen_action = torch.randn(1, 768)
rejected_action = torch.randn(1, 768)

# The model predicts scalar scores to guide the primary agent
print(f"Chosen Action Reward: {reward_model(chosen_action).item():.4f}")
print(f"Rejected Action Reward: {reward_model(rejected_action).item():.4f}")

Для более глубокого погружения в то, как выравнивание влияет на базовые модели с открытым исходным кодом, изучи фундаментальные исследования по выравниванию языковых моделей с намерениями человека и узнай, как системы компьютерного зрения (CV) используют передовые петли обратной связи для безопасного взаимодействия с динамическими средами.