Humanity's Last Exam (HLE)

Kỳ thi cuối cùng của nhân loại (HLE) là một benchmark AI đánh giá kiến thức học thuật và khả năng suy luận ở cấp độ chuyên gia thông qua các câu hỏi khó có đáp án kiểm chứng được. Có thể hình dung đây là một kỳ thi khắt khe bao quát nhiều chuyên ngành, chứ không phải bài trắc nghiệm kiến thức tổng quát. HLE giúp cho thấy hệ thống AI có thể giải quyết những vấn đề khó ở đâu — và những lỗi nào bị che giấu sau các câu trả lời trôi chảy, đầy tự tin. (labs.scale.com)

Cách Kỳ thi cuối cùng của nhân loại hoạt động#

HLE là một tập dữ liệu benchmark: một bộ dữ liệu được chuẩn hóa, dùng để so sánh các hệ thống trong những điều kiện xác định. Do Center for AI Safety và Scale AI phát triển, bộ dữ liệu công khai hoàn chỉnh ban đầu gồm 2.500 câu hỏi thuộc hơn 100 lĩnh vực, bao gồm toán học, khoa học tự nhiên, kỹ thuật và khoa học nhân văn. (agi.safe.ai)

Các câu hỏi gồm câu trắc nghiệm và bài toán trả lời ngắn. Chúng là câu hỏi có đáp án xác định, nghĩa là có thể kiểm tra đáp án đúng, ngay cả khi việc tìm ra đáp án đòi hỏi suy luận đáng kể. Các chuyên gia đóng góp và phản biện giúp xác lập độ khó cũng như chất lượng đáp án. HLE có tính đa phương thức: một số câu hỏi yêu cầu diễn giải hình ảnh cùng với văn bản, thay vì chỉ xử lý ngôn ngữ. (labs.scale.com)

Điều này khiến HLE phù hợp để đánh giá mô hình ngôn ngữ lớn, vốn xử lý và tạo ra ngôn ngữ, cũng như các hệ thống có khả năng xử lý hình ảnh. Các câu hỏi trực quan của HLE có điểm chung với hỏi đáp trực quan, trong đó hệ thống trả lời câu hỏi về hình ảnh. Tuy nhiên, nhận diện các thành phần trong sơ đồ chỉ là một phần của việc giải quyết vấn đề học thuật chuyên sâu. (labs.scale.com)

Tìm hiểu điểm số và độ tin cậy#

Có hai phép đo đặc biệt quan trọng:

• Độ chính xác của câu trả lời: Tỷ lệ câu hỏi được trả lời chính xác. Phép đo này phản ánh số câu trả lời đúng, chứ không cho biết mọi bước trong phần giải thích có hợp lý hay không.
• Hiệu chuẩn độ tin cậy: Mức độ tương ứng giữa độ tin cậy và độ chính xác quan sát được. Trong một hệ thống được hiệu chuẩn tốt, khoảng 80% câu trả lời được gán độ tin cậy 80% phải chính xác. (scikit-learn.org)

Các đánh giá HLE có thể yêu cầu câu trả lời cuối cùng và một ước tính độ tin cậy. Hai yếu tố này phản ánh những thuộc tính khác nhau: độ chính xác của hệ thống có thể tăng trong khi hệ thống vẫn quá tự tin khi trả lời sai. Vì vậy, tỷ lệ phần trăm độ tin cậy được nêu ra không mặc nhiên là một xác suất đáng tin cậy. (agi.safe.ai)

Khi đọc phương pháp đánh giá HLE, hãy kiểm tra phiên bản câu hỏi, phạm vi chỉ dùng văn bản so với đa phương thức, prompt và quy trình chấm điểm. Đồng thời, hãy kiểm tra xem có cho phép dùng công cụ bên ngoài hay không; kết quả có hỗ trợ công cụ và không hỗ trợ công cụ mô tả các hệ thống khác nhau. (labs.scale.com)

HLE khác gì so với các khái niệm liên quan#

HLE hướng đến giải quyết tình trạng bão hòa benchmark: khi nhiều hệ thống đạt điểm gần mức tối đa của một bài kiểm tra, bài kiểm tra đó trở nên kém hữu ích hơn trong việc phân biệt năng lực của chúng. Câu hỏi khó hơn tạo thêm dư địa để đo lường sự khác biệt. Tên gọi này thể hiện tham vọng đó; không có nghĩa là việc đánh giá AI sẽ kết thúc với kỳ thi này. (labs.scale.com)

HLE không phải là chứng nhận về trí tuệ nhân tạo tổng quát, tức trí tuệ có thể áp dụng rộng rãi trên nhiều tác vụ. Câu trả lời học thuật xuất sắc không chứng minh được khả năng tự chủ khám phá, lập kế hoạch đáng tin cậy hay hành vi an toàn. Khung Quản lý Rủi ro AI của NIST đề cập đến các mối quan ngại rộng hơn, chẳng hạn như độ tin cậy và rủi ro theo từng bối cảnh cụ thể. (agi.safe.ai)

HLE cũng khác với phát hiện đối tượng, vốn xác định và định vị các đối tượng trong hình ảnh. Độ chính xác của câu trả lời học thuật không thể thay thế việc đo lường xem bộ phát hiện có tìm đúng đối tượng trong hình ảnh khi triển khai hay không. (docs.ultralytics.com)

Hai ví dụ ứng dụng thực tế#

Lựa chọn trợ lý khoa học. Hãy hình dung một nhóm đang chọn trợ lý để giải thích các bài toán vật lý nâng cao. HLE có thể cung cấp tín hiệu ban đầu về năng lực học thuật, nhưng nhóm cũng nên kiểm thử bằng những câu hỏi tiêu biểu trong công việc của mình. Câu trả lời sai nhưng đầy tự tin có thể dẫn hướng sai cho các phép tính hoặc thí nghiệm, vì vậy việc chuyên gia đánh giá vẫn rất quan trọng. Hãy xem đây là ví dụ sàng lọc, không phải bằng chứng cho thấy một trợ lý cụ thể phù hợp. (agi.safe.ai)

Hỗ trợ kỹ thuật trực quan. Hãy hình dung một trợ lý diễn giải sơ đồ thiết bị. Các câu hỏi dựa trên hình ảnh của HLE cho thấy việc nhìn thấy ký hiệu và hiểu mối quan hệ giữa chúng là hai thách thức riêng biệt. Hệ thống có thể nhận diện đúng một bộ phận nhưng lại suy luận sai về cách vận hành. Vì vậy, việc đánh giá cần bao quát toàn bộ tác vụ, bao gồm cả diễn giải và hệ quả — chứ không chỉ nhận diện trực quan. (labs.scale.com)

Hướng dẫn đánh giá thực tiễn#

Bảo đảm tính toàn vẹn của việc đánh giá bằng cách giữ tập huấn luyện, tập validation và tập kiểm thử riêng biệt. Tránh rò rỉ dữ liệu, khi thông tin đánh giá ảnh hưởng đến quá trình phát triển model, khiến hiệu suất có vẻ tốt hơn khả năng tổng quát hóa thực tế. Các câu hỏi công khai của HLE cũng cần được xử lý cẩn trọng tương tự để tránh lộ trước. (developers.google.com)

Đối với thị giác máy tính, hãy sử dụng đánh giá theo từng tác vụ bên cạnh mọi benchmark suy luận. Sau khi cài đặt ultralytics, quy trình validation Ultralytics YOLO được ghi lại trong tài liệu sẽ đánh giá YOLO26 trên tập dữ liệu ví dụ COCO8 nhỏ: (docs.ultralytics.com)

from ultralytics import YOLO

if __name__ == "__main__":
    model = YOLO("yolo26n.pt")

    # So sánh các kết quả phát hiện với nhãn validation của tập dữ liệu.
    metrics = model.val(data="coco8.yaml")

    # Báo cáo metric định vị và phân loại của bộ phát hiện.
    print("mAP50-95:", metrics.box.map)

Đầu ra là mean average precision trên một số ngưỡng chồng lấp bounding box, không phải điểm HLE. COCO8 minh họa quy trình; để đánh giá hiệu quả triển khai có ý nghĩa, cần dùng dữ liệu ứng dụng đại diện được giữ lại để kiểm thử. Bài học cốt lõi là phải gắn từng tuyên bố về hiệu suất với đúng năng lực đã được kiểm thử. (docs.ultralytics.com)