Direct Preference Optimization (DPO)

Direct Preference Optimization (DPO)은 인공지능 모델을 미세조정(fine-tune)하는 데 사용되는 안정적이고 효율적인 알고리즘 기법으로, 모델이 인간의 선호도, 안전 기준, 윤리적 지침에 부합하도록 보장합니다. 인간의 피드백을 수집하기 위해 복잡하고 다단계인 파이프라인이 필요한 전통적인 방법과 달리, DPO는 선호도 학습을 표준 classification task in machine learning으로 직접 처리함으로써 정렬(alignment) 프로세스를 수학적으로 단순화합니다. 주석 작성자가 "우승(winning)" 응답을 "탈락(losing)" 응답보다 선택하는 인간 선호도 데이터셋을 기반으로 모델을 직접 최적화함으로써, 개발자는 대규모 foundation models 및 현대 generative AI systems의 유용성, 정직성, 안전성을 크게 향상시킬 수 있습니다.

DPO가 모델 정렬을 단순화하는 방법#

Direct Preference Optimization의 주요 혁신은 아키텍처상의 "중개자"를 제거했다는 점에 있습니다. 역사적으로 Large Language Model (LLM) 또는 Vision-Language Model을 정렬하는 작업에는 Reinforcement Learning from Human Feedback (RLHF)로 알려진 복잡한 과정이 수반되었습니다. RLHF는 인간의 점수를 근사화하기 위해 별도의 보상 모델을 학습시킨 후, Proximal Policy Optimization과 같이 불안정성이 높은 강화 학습 알고리즘을 사용하여 메인 모델을 업데이트해야 합니다.

DPO는 이 별도의 보상 모델의 필요성을 수학적으로 없애줍니다. 대신, "선호되는" 출력 생성 가능성을 높이고 동시에 "거부된" 출력 가능성을 낮추는 유도된 loss function에 의존합니다. 이는 Kullback-Leibler divergence를 제한하기 위해 참조 모델을 사용하여 업데이트된 모델이 원래 training data 분포에서 너무 멀리 벗어나지 않도록 보장합니다. 이러한 수학적 단순화는 프로세스가 표준 supervised learning에 훨씬 가깝게 작동하도록 만들어, GPU hardware에서 더 빠른 수렴과 낮은 메모리 사용량을 이끌어냅니다. 이는 본질적으로 model collapse의 위험을 줄이고 광범위한 hyperparameter tuning을 없애줍니다.

실제 애플리케이션 사례#

Direct Preference Optimization은 강력한 AI Safety를 추구하며 다양한 고위험 산업 전반에서 대화형 AI 시스템이 구축되고 배포되는 방식을 근본적으로 재편하고 있습니다.

• 대화형 에이전트 강화: chatbots 및 가상 어시스턴트 영역에서 DPO는 독성(toxicity)을 줄이고 응답을 엄격한 OpenAI safety best practices 및 Anthropic research on AI alignment에 맞추는 데 사용됩니다. 인간 주석 작성자는 프롬프트에 대한 두 가지 답변을 검토하고 정중하고 사실에 기반한 답변을 "선택됨(chosen)"으로 표시합니다. 그런 다음 DPO는 환각(hallucination)을 처벌하는 동시에 이 특정 대화 스타일을 선호하도록 모델 가중치를 업데이트합니다.
• 비전-언어 모델 정조율: image recognition이 진화함에 따라, 모델은 자신이 본 것을 인간 운영자에게 설명해야 하는 요구를 점점 더 받고 있습니다. 시각적 질문 응답과 같은 애플리케이션의 경우, DPO는 연구원이 모델의 텍스트 출력을 세부적인 인간 선호도에 정렬할 수 있도록 합니다. 예를 들어, 사용자가 Ultralytics YOLO26 기반 로보틱스 시스템에 객체를 설명하도록 요청하면, DPO는 엄격한 AI Ethics 지침을 엄격히 준수하여 모호한 해석보다 사실적이고 간결한 설명을 우선시하도록 모델을 학습시킵니다.

실전에서의 DPO#

DPO를 구현하려면 고품질의 쌍 데이터(pairwise data)가 필요합니다. 최신 워크플로우는 Ultralytics Platform과 같은 종합 도구를 활용하여 이러한 데이터셋을 원활하게 관리하며, data annotation 프로세스가 명확한 "우승" 및 "탈락" 예제를 산출하도록 보장합니다. 이에 대한 근본적인 연구는 논문 Direct Preference Optimization: Your Language Model is Secretly a Reward Model에서 탐색하거나 스탠퍼드 HAI의 Alignment and Human Preferences에 대해 읽어볼 수 있습니다.

다음 Python 스니펫은 PyTorch API reference에 있는 함수를 사용하여 DPO 스타일의 손실 계산에 필요한 기본 데이터 구조를 보여줍니다.

import torch
import torch.nn.functional as F


def dpo_loss(chosen_logps, rejected_logps, beta=0.1):
    # DPO maximizes the margin between chosen and rejected log probabilities
    logits = beta * (chosen_logps - rejected_logps)
    # The loss minimizes the negative log sigmoid of this margin
    return -F.logsigmoid(logits).mean()


print(f"DPO Loss: {dpo_loss(torch.tensor([-0.5]), torch.tensor([-2.5])):.4f}")