Direct Preference Optimization

Direct Preference Optimization (DPO) — это стабильный и эффективный алгоритмический метод, используемый для тонкой настройки моделей искусственного интеллекта, который гарантирует их соответствие человеческим предпочтениям и стандартам безопасности. В отличие от традиционных методов обучения с подкреплением, требующих сложного моделирования наград, DPO упрощает процесс выравнивания, рассматривая задачу обучения предпочтениям как задачу классификации. Напрямую оптимизируя модель на основе набора данных человеческих предпочтений, где аннотаторы выбирают «выигрышный» ответ вместо «проигрышного», разработчики могут существенно повысить полезность, честность и безопасность foundation models и систем generative AI. Этот подход получил огромную популярность в 2024 и 2025 годах благодаря своей способности достигать результатов государственного уровня со значительно меньшими затратами вычислительных ресурсов.

Как DPO упрощает настройку моделей#

Главная инновация Direct Preference Optimization заключается в устранении «посредника», присутствовавшего в старых конвейерах выравнивания. Исторически сложилось так, что выравнивание Large Language Model (LLM) или Vision-Language Model предполагало многошаговый процесс, известный как Reinforcement Learning from Human Feedback (RLHF). RLHF требует обучения отдельной модели наград для аппроксимации оценок человека с последующим использованием подверженного нестабильности алгоритма вроде PPO (Proximal Policy Optimization) для обновления основной модели.

DPO математически устраняет необходимость в этой отдельной модели наград. Вместо этого она использует производную loss function, которая увеличивает вероятность генерации «предпочитаемых» результатов и уменьшает вероятность «отвергнутых». Это опирается на опорную модель, гарантирующую, что обновленная модель не отклоняется слишком далеко от своего исходного распределения training data. Такое математическое упрощение заставляет процесс вести себя гораздо ближе к стандартному supervised learning, что приводит к более быстрой сходимости и меньшему использованию памяти на GPU hardware.

Отличие от RLHF#

Хотя и DPO, и RLHF преследуют общую цель обеспечения AI Safety и выравнивания, их реализация существенно различается:

• Сложность: RLHF подразумевает одновременную поддержку нескольких моделей (актер, критик, модель вознаграждения, эталонная модель) во время обучения. DPO требует только обучаемую модель и замороженную эталонную модель.
• Стабильность: Обучение с подкреплением чрезвычайно чувствительно к hyperparameter tuning. DPO обычно работает со стабильностью стандартной задачи классификации, снижая риск model collapse.
• Эффективность: Устраняя этапы вывода модели вознаграждения, DPO снижает вычислительную нагрузку, позволяя организациям согласовывать более крупные модели на меньших кластерах.

Реальные приложения#

Direct Preference Optimization в настоящее время меняет способы создания интерактивных систем ИИ в различных отраслях.

улучшение разговорных агентов#

В сфере chatbots и виртуальных помощников DPO используется для снижения токсичности и повышения фактической точности. Разработчики курируют наборы данных, где аннотатор-человек просматривает два ответа на запрос: один галлюцинирующий или грубый, а другой точный и вежливый. Человек помечает вежливый ответ как «выбранный». Затем DPO обновляет model weights, чтобы отдать предпочтение выбранному стилю. Это крайне важно для развертывания агентов обслуживания клиентов, которые придерживаются строгих рекомендаций AI Ethics.

Уточнение моделей зрения-языка#

По мере эволюции компьютерного зрения от моделей все чаще требуется объяснять то, что они видят. Для таких приложений, как image captioning или визуально-ответные вопросы, DPO позволяет исследователям сопоставлять текстовый вывод модели с подробными предпочтениями человека. Например, если пользователь просит security system «описать злоумышленника», DPO может обучить модель отдавать приоритет фактическим описаниям (например, «красная рубашка, синяя шляпа») вместо поэтичных или расплывчатых, повышая полезность computer vision system.

DPO в современном рабочем процессе ИИ#

Внедрение DPO требует высококачественных парных данных. Современные рабочие процессы часто используют такие инструменты, как Ultralytics Platform, для управления наборами данных, гарантируя, что процесс data annotation дает четкие примеры «победителей» и «проигравших». Хотя DPO была разработана для текста, ее принципы все шире применяются для оптимизации object detection architectures и других модальностей путем формирования метрик качества в виде пар предпочтений.

Следующий фрагмент Python с использованием torch демонстрирует базовую структуру данных, необходимую для расчета потерь в стиле DPO. Он показывает, как «выбранные» и «отвергнутые» ответы подготавливаются пакетами — концепция, критически важная для современной model optimization.

import torch
import torch.nn.functional as F

# Simulate log probabilities for 'chosen' and 'rejected' responses
# In a real scenario, these come from your model (e.g., a VLM or LLM)
chosen_log_probs = torch.tensor([-0.5, -0.8, -0.2], requires_grad=True)
rejected_log_probs = torch.tensor([-2.5, -3.0, -1.5], requires_grad=True)

# DPO aims to maximize the margin between chosen and rejected
# This is a simplified conceptual look at the margin calculation
beta = 0.1  # A hyperparameter controlling deviation from the reference model
logits = beta * (chosen_log_probs - rejected_log_probs)

# The loss minimizes the negative log sigmoid of this margin
loss = -F.logsigmoid(logits).mean()

print(f"DPO Loss: {loss.item()}")
# Output demonstrates the penalty applied if the model doesn't prefer the chosen data

Используя такие методы, как DPO, разработчики могут раздвинуть границы производительности в таких моделях, как Ultralytics YOLO26, гарантируя, что автоматизированные решения будут не только точными, но и согласованными с намерениями человека. Это жизненно важно для ответственных сред, таких как autonomous vehicles и medical image analysis, где надежность превыше всего.

Внешние ресурсы#

• Оригинальная статья: Ознакомьтесь с фундаментальным исследованием Direct Preference Optimization: Your Language Model is Secretly a Reward Model, написанным Рафаиловым и др. (2023 г.).
• Stanford HAI: Изучите идеи об Alignment and Human Preferences от Стэнфордского университета.
• Документация PyTorch: Ознакомьтесь с техническими деталями реализации специфических функций потерь в PyTorch API reference.