Humanity's Last Exam (HLE)

Humanity's Last Exam (HLE) là một benchmark gồm 2.500 câu hỏi do chuyên gia biên soạn, trải rộng trên hơn 100 môn học thuật, được xây dựng để đo lường các hệ thống AI ở ngưỡng tri thức tiên tiến nhất của con người. Center for AI Safety và Scale AI phát hành benchmark vào tháng 1 năm 2025, hoàn thiện bộ câu hỏi công khai vào tháng 4 năm 2025 và công bố trên Nature vào tháng 1 năm 2026. Tên gọi phản ánh mục tiêu: một kỳ thi học thuật với câu hỏi đóng đủ khó để vẫn cung cấp thông tin hữu ích sau khi các bài kiểm tra trước không còn phân biệt được những mô hình ngôn ngữ lớn (LLM) tốt nhất.

Vấn đề đó là tình trạng bão hòa benchmark. Đến năm 2024, model tiên phong đạt trên 90% ở MMLU, một bài kiểm tra kiến thức được dùng rộng rãi, nên khó diễn giải những cải thiện tiếp theo. HLE được xây dựng để các model tương tự chỉ đạt điểm một chữ số, và khi ra mắt, kết quả đúng như vậy.

Cách thu thập câu hỏi#

Gần 1.000 chuyên gia trong các lĩnh vực, phần lớn là giáo sư, nhà nghiên cứu và người có bằng sau đại học từ hơn 500 cơ sở tại 50 quốc gia, đã biên soạn câu hỏi. Mỗi câu hỏi dự kiến ban đầu được kiểm tra với một số LLM tiên phong và chỉ được giữ lại nếu các model trả lời sai hoặc, với câu trắc nghiệm, làm kém hơn mức đoán ngẫu nhiên. Hơn 70.000 lượt thử như vậy giúp chọn ra khoảng 13.000 câu hỏi để con người xem xét. Ở vòng đầu, những người thẩm định có bằng sau đại học đánh giá mỗi câu hỏi từ một đến ba lần để người viết chỉnh câu hỏi thành dạng đóng và rõ ràng; ở vòng hai, ban tổ chức và người thẩm định chọn những câu hỏi tốt nhất cho bộ cuối cùng. Cách lọc này tương tự phương pháp của GPQA, trong đó bộ Diamond chỉ giữ lại câu hỏi khoa học mà phần lớn người không chuyên có năng lực, dù được truy cập web, vẫn không trả lời được. Quỹ giải thưởng 500.000 đô la chi 5.000 đô la cho mỗi câu trong 50 câu hỏi hàng đầu và 500 đô la cho mỗi câu trong 500 câu tiếp theo.

Toán học chiếm 41% bộ câu hỏi, tiếp theo là sinh học và y học với 11%, khoa học máy tính và AI với 10%, vật lý và nhân văn với 9% mỗi lĩnh vực, hóa học với 7% và kỹ thuật với 4%. Một câu hỏi mẫu đã công bố yêu cầu xác định có bao nhiêu cặp gân được hỗ trợ bởi xương vừng chỉ có ở chim ruồi—một chi tiết chuyên gia biết nhưng công cụ tìm kiếm không thể nhanh chóng đưa ra. Khoảng 24% câu hỏi là trắc nghiệm. 76% còn lại yêu cầu câu trả lời ngắn chính xác; model o3-mini, làm model chấm trên bảng xếp hạng chính thức, đối chiếu câu trả lời với đáp án chuẩn và chấp nhận các cách viết tương đương như phân số thay cho số thập phân. Bộ dữ liệu riêng được giữ kín giúp phát hiện model đã quá khớp với câu hỏi công khai, một rủi ro tăng lên khi nội dung benchmark rò rỉ vào dữ liệu huấn luyện; đây là một dạng rò rỉ dữ liệu mà LiveCodeBench hạn chế bằng cách gắn ngày cho các bài toán.

Khoảng 14% câu hỏi là đa phương thức, kết hợp văn bản với sơ đồ, biểu đồ hoặc dòng chữ được chụp ảnh, khiến HLE trở thành bài kiểm tra chuyên gia về hỏi đáp bằng hình ảnh. Các câu hỏi này đánh giá khả năng suy luận của model thị giác-ngôn ngữ (VLM); đây là các model mà khối LLM trong Ultralytics Platform Agents gọi sau khi detector YOLO26 sàng lọc hình ảnh, gửi hình ảnh và kết quả phát hiện đến model thị giác-ngôn ngữ do người dùng chọn.

Độ chính xác và Sai số hiệu chỉnh#

HLE báo cáo hai con số cho mỗi model:

• Độ chính xác: Tỷ lệ câu hỏi được trả lời đúng. Trong bài báo gốc, GPT-4o đạt 2,7%, Claude 3.5 Sonnet đạt 4,1%, Gemini 1.5 Pro đạt 4,6% và model suy luận o1 của OpenAI đạt 8,0%, trong khi o3-mini đạt 13,4% trên các câu hỏi chỉ có văn bản.
• Sai số hiệu chỉnh: Mỗi model đưa ra mức độ tin cậy từ 0% đến 100% kèm theo từng câu trả lời; độ lệch căn quân phương trung bình giữa độ tin cậy đã nêu và độ chính xác thực tế cho biết model hiểu rõ đến đâu về những gì model biết. Các model thời điểm ra mắt có sai số hiệu chỉnh từ 73% đến 89%, nghĩa là chúng đưa ra câu trả lời đầy tự tin cho những câu hỏi mà chúng trả lời sai—một dạng ảo giác có thể đo lường được.

Độ chính xác tăng nhanh với model suy luận, trong khi khả năng hiệu chỉnh tụt lại phía sau. Trên bảng xếp hạng chính thức, Gemini 3 Pro đạt độ chính xác 38,3% với sai số hiệu chỉnh 57,2%, còn GPT-5 đạt 25,3% với sai số hiệu chỉnh 50,0%. Sai số hiệu chỉnh là một ứng dụng trực tiếp của định lượng độ bất định cho LLM; khoảng cách tương tự giữa độ tin cậy và tính đúng đắn là cơ sở cho các phương pháp phát hiện như entropy ngữ nghĩa.

Các phiên bản cập nhật: HLE-Rolling và HLE-Diamond#

Một cuộc điều tra của phòng thí nghiệm nghiên cứu AI FutureHouse, được đưa tin vào tháng 7 năm 2025, ước tính gần 30% câu trả lời chỉ có văn bản về hóa học và sinh học mâu thuẫn với tài liệu đã xuất bản; những người thẩm định khác cũng nêu vấn đề về cách diễn đạt mơ hồ. Ban tổ chức xác minh một phần các phát hiện và ra mắt HLE-Rolling, một nhánh liên tục cập nhật, vào tháng 10 năm 2025. Sau một năm làm sạch dữ liệu, ban tổ chức phát hành HLE-Diamond vào ngày 22 tháng 9 năm 2026: một tập con tinh lọc gồm 1.000 câu hỏi, chia thành 500 câu suy luận và 500 câu kiến thức, được thiết kế để trả lời mà không tham khảo tài liệu. Quyền truy cập công cụ làm thay đổi kết quả đáng kể, nên bảng xếp hạng và đánh giá tác tử báo cáo thiết lập công cụ kèm theo từng điểm số. Khi phát hành, GPT-6 Astra dẫn đầu HLE-Diamond với 59,9% khi không dùng công cụ và 82,9% khi dùng tìm kiếm web cùng thực thi code.