Reasoning Models
추론 모델은 답변하기 전에 긴 사고 과정을 작성하도록 강화 학습으로 학습한 LLM입니다. o1, DeepSeek-R1 및 한계를 다룹니다.
추론 모델은 최종 답변을 내기 전에 긴 내부 사고 과정을 생성하도록 학습된 대규모 언어 모델 (LLM)로, 어려운 문제에 더 많은 연산을 사용할 수 있습니다. OpenAI는 2024년 9월 12일 o1을 공개하며 이 범주를 처음 선보였습니다. 2024년 AIME 수학 경시대회에서 GPT-4o는 평균 12%의 문제를 풀었지만, o1은 문제당 샘플 하나로 74%, 64개 샘플에 대한 합의 투표로 83%, 학습된 점수 함수를 사용해 1,000개 샘플의 순위를 다시 매겼을 때 93%를 기록했습니다. o1은 과학 벤치마크 GPQA에서 인간 박사 전문가의 정확도도 넘어섰습니다. DeepSeek-R1, Google의 Gemini 사고 모델, 확장 사고 기능을 갖춘 Anthropic의 Claude, Alibaba의 Qwen3가 뒤를 이었으며, 현재 많은 모델은 설정에 따라 빠르게 답하거나 충분히 오래 생각하는 하이브리드 방식입니다.
추론 모델의 학습 방식#
2022년 사고 연쇄 프롬프팅은 모델에게 중간 단계를 작성하도록 요청하면 답변이 개선된다는 사실을 보여 주었습니다. 추론 모델은 답을 자동으로 확인할 수 있는 문제에 대해 강화 학습 (RL)을 수행해 이러한 동작을 학습하며, 이 접근법을 검증 가능한 보상을 통한 강화 학습 (RLVR)이라고 합니다. DeepSeek은 2025년 1월 DeepSeek-R1 논문에서 이 학습법을 설명했습니다. R1-Zero 모델은 DeepSeek-V3 기본 모델에서 시작해 그룹 상대 정책 최적화 (GRPO)로 학습했으며, 정답인 최종 답변과 올바른 출력 형식에 대해서만 보상을 받았습니다.
단계별 예시는 제공되지 않았지만 R1-Zero의 AIME 2024 pass@1 정확도는 15.6%에서 71.0%로 상승했으며, 다수결 투표를 사용하면 86.7%에 이르렀습니다. 학습이 진행되면서 응답은 길어졌고 모델은 스스로 단계를 재검토하고 수정하기 시작했는데, 저자들은 이를 "아하 순간"이라고 불렀습니다. 공개된 DeepSeek-R1은 가독성을 높이기 위해 먼저 수천 개의 엄선된 장문 추론 예시로 학습했으며 AIME 2024에서 79.8%를 기록했습니다. DeepSeek은 추론 과정을 더 작은 Qwen 및 Llama 모델로 증류했습니다. 각 단계를 평가하는 과정 보상 모델 (PRM)은 결과 보상의 주요 대안이지만, DeepSeek은 대규모 학습에서 PRM과 몬테카를로 트리 탐색이 효과를 내지 못했다고 보고했습니다.
테스트 시점 연산#
추론 모델은 생각에 사용하는 토큰 수가 늘어날수록 정확도가 높아집니다. 이는 모델 크기와 학습 데이터에 더해 스케일링 법칙의 두 번째 축입니다. API는 이를 추론 강도 또는 사고 예산으로 제공합니다. 여러 답변을 병렬로 샘플링해 투표하거나 검증기를 사용해 부분 해답을 탐색하면 정확도를 더 높일 수 있습니다. 그 대가는 지연 시간과 토큰입니다. 어려운 문제에서는 답변의 첫 단어가 나오기 전에 숨겨진 추론 토큰을 수천 개나 사용할 수 있습니다. Ultralytics LLM 인터페이스는 요청 인수를 OpenAI SDK에 변경 없이 전달하므로, 감지된 장면에 신중한 답변이 필요한 경우 YOLO26 파이프라인은 Responses API를 통해 추론 모델에 reasoning={"effort": "high"}를 전달할 수 있습니다.
2025년 4월 공개된 OpenAI의 o3 및 o4-mini는 이미지에도 사고 과정을 확장해, 이미지를 추론하는 동안 사진을 자르고 확대하고 회전할 수 있게 했습니다. 이러한 시각적 추론은 작은 글자, 차트, 복잡한 장면에 대한 시각 질의응답 (VQA)에 도움이 됩니다.
한계#
추론 모델은 단순한 질문을 지나치게 고민해 직접 답변하면 되는 상황에도 토큰을 사용하며, 일부 쉬운 작업에서도 예측할 수 없이 실패합니다. 이러한 양상을 불균일한 지능이라고 합니다. 확인 가능한 답변에 대한 강화 학습은 결과에 보상을 주므로, 모델은 검사기를 통과하는 지름길을 학습할 수 있습니다. 이는 보상 해킹의 한 형태입니다. 작성된 사고 과정도 연산을 완벽하게 기록하지는 않습니다. 2025년 4월 발표된 Anthropic 연구에서 답변을 바꾸는 힌트를 받은 모델은 Claude 3.7 Sonnet의 경우 25%, DeepSeek-R1의 경우 39%만 힌트를 언급했습니다.
