Reasoning Models
Model suy luận là các LLM được huấn luyện bằng học tăng cường để tạo chuỗi suy nghĩ dài trước khi trả lời. Bài viết đề cập đến o1, DeepSeek-R1 và các giới hạn.
Mô hình suy luận là một mô hình ngôn ngữ lớn (LLM) được huấn luyện để tạo ra chuỗi suy nghĩ nội bộ dài trước câu trả lời cuối cùng, nhờ đó có thể sử dụng nhiều tài nguyên tính toán hơn cho các vấn đề khó. OpenAI giới thiệu danh mục này với o1 vào ngày 12 tháng 9 năm 2024: tại cuộc thi toán AIME 2024, GPT-4o giải được trung bình 12% số bài, trong khi o1 giải được 74% với một mẫu cho mỗi bài, 83% khi bỏ phiếu đồng thuận trên 64 mẫu và 93% khi dùng hàm chấm điểm đã học để xếp hạng lại 1.000 mẫu. o1 cũng vượt độ chính xác của các chuyên gia tiến sĩ trong lĩnh vực khoa học trên benchmark GPQA. Sau đó là DeepSeek-R1, các model Gemini thinking của Google, Claude với chế độ extended thinking của Anthropic và Qwen3 của Alibaba; nhiều model hiện nay là dạng lai, trả lời nhanh hoặc suy nghĩ lâu tùy theo một thiết lập.
Cách huấn luyện các model suy luận#
Prompting chuỗi suy nghĩ cho thấy vào năm 2022 rằng yêu cầu model viết ra các bước trung gian sẽ cải thiện câu trả lời. Các model suy luận học hành vi đó thông qua học tăng cường (RL) trên những bài toán có thể tự động kiểm tra đáp án, một phương pháp gọi là học tăng cường với phần thưởng có thể xác minh (RLVR). DeepSeek mô tả quy trình này trong bài báo DeepSeek-R1 vào tháng 1 năm 2025. Model R1-Zero bắt đầu từ model nền DeepSeek-V3 và được huấn luyện bằng Tối ưu hóa chính sách tương đối theo nhóm (GRPO), chỉ nhận thưởng khi câu trả lời cuối cùng chính xác và đúng định dạng đầu ra:
Không có ví dụ từng bước nào được cung cấp, nhưng độ chính xác pass@1 của R1-Zero trên AIME 2024 tăng từ 15,6% lên 71,0%, và đạt 86,7% khi bỏ phiếu đa số. Câu trả lời của model dài hơn trong quá trình huấn luyện, và model bắt đầu kiểm tra lại rồi điều chỉnh các bước của chính mình; các tác giả gọi đây là “khoảnh khắc aha”. DeepSeek-R1 được phát hành sau đó, trước tiên được huấn luyện trên vài nghìn ví dụ suy luận dài đã tuyển chọn để dễ đọc và đạt 79,8% trên AIME 2024; DeepSeek đã chưng cất các dấu vết suy luận của model vào các model Qwen và Llama nhỏ hơn. Model phần thưởng theo quá trình (PRM) chấm điểm từng bước là phương án chính thay thế cho các phần thưởng theo kết quả này, dù DeepSeek cho biết PRM và tìm kiếm cây Monte Carlo không mang lại hiệu quả trong quá trình huấn luyện quy mô lớn của họ.
Tính toán tại thời điểm kiểm thử#
Độ chính xác của một model suy luận tăng theo số token model dùng để suy nghĩ, tạo thành một trục thứ hai của các quy luật mở rộng quy mô, bên cạnh kích thước model và dữ liệu huấn luyện. API cung cấp tham số này dưới dạng mức độ suy luận hoặc ngân sách suy nghĩ; độ chính xác có thể tăng thêm bằng cách lấy mẫu nhiều câu trả lời song song rồi bỏ phiếu, hoặc tìm kiếm trên các lời giải từng phần với một bộ xác minh. Đổi lại là độ trễ và token: một bài toán khó có thể tiêu tốn hàng nghìn token suy luận ẩn trước khi câu trả lời xuất hiện. Giao diện LLM của Ultralytics chuyển tiếp nguyên vẹn các tham số yêu cầu đến OpenAI SDK, vì vậy một pipeline YOLO26 có thể truyền reasoning={"effort": "high"} cho model suy luận qua Responses API khi cảnh được phát hiện cần một câu trả lời có cân nhắc.
o3 và o4-mini của OpenAI, phát hành vào tháng 4 năm 2025, mở rộng chuỗi suy nghĩ sang hình ảnh: cắt, phóng to và xoay ảnh trong khi suy luận về ảnh đó. Khả năng suy luận trực quan này hỗ trợ trả lời câu hỏi trực quan (VQA) về văn bản nhỏ, biểu đồ và cảnh lộn xộn.
Hạn chế#
Các model suy luận suy nghĩ quá mức về những câu hỏi đơn giản, tiêu tốn token trong khi chỉ cần trả lời trực tiếp, và vẫn thất bại khó đoán ở một số tác vụ dễ; hiện tượng này được gọi là trí tuệ lồi lõm. RL trên các đáp án có thể kiểm tra thưởng cho kết quả, nên model có thể học lối tắt vượt qua bộ kiểm tra, một dạng lách luật phần thưởng. Chuỗi suy nghĩ được viết ra cũng chỉ ghi lại phép tính một cách không hoàn hảo: trong một nghiên cứu của Anthropic công bố vào tháng 4 năm 2025, khi được gợi ý làm thay đổi câu trả lời, các model chỉ nhắc đến gợi ý đó trong 25% số lần đối với Claude 3.7 Sonnet và 39% số lần đối với DeepSeek-R1.
Model suy luận và các thuật ngữ liên quan#
- Prompting chuỗi suy nghĩ: Prompt bất kỳ LLM nào viết ra các bước trong lúc suy luận; đây là hành vi mà các model suy luận được huấn luyện để tự tạo ra mà không cần prompt.
- Tư duy Hệ thống 2: Thuật ngữ tâm lý học chỉ kiểu suy luận chậm rãi, có cân nhắc, được lĩnh vực này mượn dùng để mô tả hoạt động của các model suy luận.
- Suy luận tiềm ẩn: Suy luận được thực hiện trong các vector trạng thái ẩn thay vì token được viết ra, nên không để lại dấu vết có thể đọc được.
- Cây suy nghĩ: Quá trình tìm kiếm tường minh trên các chuỗi suy nghĩ phân nhánh, được định hướng bằng đánh giá của chính model về từng nhánh.
