GPQA
GPQA là benchmark khoa học trình độ sau đại học mà chuyên gia có bằng tiến sĩ trả lời đúng 65%, còn người không chuyên sử dụng tìm kiếm web trả lời đúng 34%. Tìm hiểu tập Diamond và cách đọc điểm số.
GPQA, viết tắt của Graduate-Level Google-Proof Q&A, là một benchmark gồm 448 câu hỏi trắc nghiệm về sinh học, hóa học và vật lý, do chuyên gia trong lĩnh vực biên soạn để chuyên gia có thể trả lời nhưng người không chuyên dù có kỹ năng cao cũng không thể, ngay cả khi được truy cập web không hạn chế. David Rein và các đồng nghiệp tại New York University, Cohere và Anthropic phát hành benchmark này vào tháng 11 năm 2023 trong bài báo GPQA: Một Benchmark Hỏi đáp chống Google ở cấp độ sau đại học nhằm đo năng lực suy luận khoa học của mô hình ngôn ngữ lớn (LLM). Phần Diamond khó hơn, gồm 198 câu hỏi, đã trở thành một trong những điểm số được công bố rộng rãi nhất trong thông báo về model, từ GPT-5 của OpenAI đến các model Claude 4 của Anthropic.
Benchmark này cũng được xây dựng để nghiên cứu giám sát có khả năng mở rộng, một nhánh của an toàn AI và siêu căn chỉnh: nếu các hệ thống AI cuối cùng có thể trả lời những câu hỏi mà người giám sát không thể kiểm chứng, con người cần có cách xác minh các câu trả lời đó. GPQA cung cấp những câu hỏi mà khoảng cách giữa chuyên gia và người không chuyên đã tồn tại sẵn.
Cách biên soạn và xác thực câu hỏi#
Các tác giả thuê 61 nhà thầu qua Upwork, mỗi người đang theo học hoặc đã có bằng tiến sĩ. Người viết soạn một câu hỏi gồm một đáp án đúng và ba phương án gây nhiễu hợp lý. Một chuyên gia thứ hai trong cùng lĩnh vực trả lời và góp ý; người viết chỉnh sửa câu hỏi, rồi một chuyên gia thứ ba trả lời phiên bản đã chỉnh sửa. Sau đó, ba người thẩm định không chuyên—các chuyên gia trình độ tiến sĩ ở lĩnh vực khác—thử trả lời từng câu hỏi với quyền truy cập Internet đầy đủ nhưng không dùng trợ lý AI, trung bình mất 37 phút. Người viết nhận thưởng khi chuyên gia trả lời đúng còn người không chuyên trả lời sai; cách này khuyến khích tạo câu hỏi có thể trả lời khách quan nhưng khó tra cứu.
Ví dụ hóa học hữu cơ được công bố cùng bài báo cho methylcyclopentadiene phản ứng với methyl isoamyl ketone để tạo ra các dẫn xuất fulvene, rồi các dẫn xuất này phản ứng với ethyl acrylate; câu hỏi yêu cầu xác định có bao nhiêu đồng phân khác biệt về mặt hóa học trong sản phẩm cuối. Để trả lời, cần xử lý từng bước phản ứng—đúng kiểu bài toán nhiều bước mà prompt chain-of-thought và model suy luận hướng đến.
Quy trình này tạo ra các mốc điểm chính của benchmark. Chuyên gia trả lời đúng 65% câu hỏi thuộc lĩnh vực của họ; tỷ lệ tăng lên 74% nếu loại trừ những lỗi mà họ nhận ra khi xem lại. Người không chuyên chỉ đạt 34%, cao hơn chín điểm so với mức 25% dự kiến khi đoán ngẫu nhiên; trên thực tế, đó là ý nghĩa của “chống Google”. Khi phát hành, baseline GPT-4 mạnh nhất, dùng prompt chain-of-thought few-shot, đạt khoảng 39%.
Bộ Extended, Main và Diamond#
GPQA được phát hành thành ba tập con lồng nhau, mỗi tập được lọc nghiêm ngặt hơn tập trước:
- Mở rộng (546 câu hỏi): Toàn bộ câu hỏi được phát hành trước khi lọc. Các tác giả giữ lại thêm 18 câu hỏi làm bộ chưa phát hành.
- Chính (448 câu hỏi): Ít nhất một trong hai chuyên gia thẩm định đồng ý với đáp án, và tối đa hai trong ba người không chuyên trả lời đúng.
- Diamond (198 câu hỏi): Cả hai chuyên gia đều đồng ý với đáp án, và tối đa một người không chuyên trả lời đúng. Chuyên gia trả lời sai vẫn được tính là đồng ý nếu sau đó họ xác định rõ lỗi của chính mình.
Diamond là lựa chọn tiêu chuẩn để so sánh model vì bộ này giữ lại những câu hỏi có đáp án rõ ràng nhất và khoảng cách lớn nhất giữa chuyên gia với người không chuyên.
Đọc điểm GPQA#
Tháng 9 năm 2024, OpenAI báo cáo model suy luận o1 đạt độ chính xác cao hơn các chuyên gia tiến sĩ trên Diamond; đến năm 2026, điểm số cao nhất được báo cáo cho model tiên phong đã vượt 90%. Ở mức này, chênh lệch nhỏ cung cấp rất ít thông tin. Mỗi câu hỏi Diamond tương đương khoảng nửa điểm phần trăm; với độ chính xác 90% trên 198 câu hỏi, sai số chuẩn vào khoảng 2,1 điểm, nên khoảng tin cậy 95% rộng khoảng ±4 điểm và hai model chênh nhau vài điểm không thể phân biệt về mặt thống kê.
Chi tiết giao thức cũng làm thay đổi điểm số. Prompt zero-shot hay few-shot, việc có cho phép chain-of-thought hay không, số lượng mẫu lấy trung bình, việc xáo trộn phương án trả lời và việc model có thể dùng công cụ hay không đều làm thay đổi kết quả; vì vậy, so sánh công bằng cần giữ các yếu tố này cố định, như Humanity's Last Exam thực hiện bằng cách báo cáo riêng thiết lập công cụ. Nhiễm dữ liệu là một rủi ro khác đối với mọi benchmark công khai. Dữ liệu GPQA có chuỗi canary để quy trình huấn luyện có thể lọc bỏ; các tác giả yêu cầu người dùng không đăng nguyên văn câu hỏi lên mạng vì khi ví dụ lọt vào văn bản web, điểm số cao có thể phản ánh việc ghi nhớ—một dạng rò rỉ dữ liệu mà LiveCodeBench tránh bằng cách gắn ngày cho các bài toán.
Các benchmark thị giác tuân theo cùng một quy trình báo cáo. Tài liệu phát hiện đối tượng của Ultralytics liệt kê YOLO26 độ chính xác trung bình (mAP) trên tập val2017 gồm 5.000 ảnh của COCO bên cạnh lệnh validation chính xác dùng để tái tạo từng con số, trong đó có thêm nms=False để tái tạo cột end-to-end. Bảng xếp hạng VLM của Ultralytics đánh giá các mô hình thị giác-ngôn ngữ bằng cùng đoạn mã validation và ghi lại cách lấy mẫu ảnh cũng như chấm điểm từng bounding box.










