Cấp phép YOLO
Quay lại Bảng thuật ngữ Ultralytics

GPQA

GPQA là benchmark khoa học trình độ sau đại học mà chuyên gia có bằng tiến sĩ trả lời đúng 65%, còn người không chuyên sử dụng tìm kiếm web trả lời đúng 34%. Tìm hiểu tập Diamond và cách đọc điểm số.

GPQA, viết tắt của Graduate-Level Google-Proof Q&A, là một benchmark gồm 448 câu hỏi trắc nghiệm về sinh học, hóa học và vật lý, do chuyên gia trong lĩnh vực biên soạn để chuyên gia có thể trả lời nhưng người không chuyên dù có kỹ năng cao cũng không thể, ngay cả khi được truy cập web không hạn chế. David Rein và các đồng nghiệp tại New York University, Cohere và Anthropic phát hành benchmark này vào tháng 11 năm 2023 trong bài báo GPQA: Một Benchmark Hỏi đáp chống Google ở cấp độ sau đại học nhằm đo năng lực suy luận khoa học của mô hình ngôn ngữ lớn (LLM). Phần Diamond khó hơn, gồm 198 câu hỏi, đã trở thành một trong những điểm số được công bố rộng rãi nhất trong thông báo về model, từ GPT-5 của OpenAI đến các model Claude 4 của Anthropic.

Benchmark này cũng được xây dựng để nghiên cứu giám sát có khả năng mở rộng, một nhánh của an toàn AI và siêu căn chỉnh: nếu các hệ thống AI cuối cùng có thể trả lời những câu hỏi mà người giám sát không thể kiểm chứng, con người cần có cách xác minh các câu trả lời đó. GPQA cung cấp những câu hỏi mà khoảng cách giữa chuyên gia và người không chuyên đã tồn tại sẵn.

Cách biên soạn và xác thực câu hỏi#

Các tác giả thuê 61 nhà thầu qua Upwork, mỗi người đang theo học hoặc đã có bằng tiến sĩ. Người viết soạn một câu hỏi gồm một đáp án đúng và ba phương án gây nhiễu hợp lý. Một chuyên gia thứ hai trong cùng lĩnh vực trả lời và góp ý; người viết chỉnh sửa câu hỏi, rồi một chuyên gia thứ ba trả lời phiên bản đã chỉnh sửa. Sau đó, ba người thẩm định không chuyên—các chuyên gia trình độ tiến sĩ ở lĩnh vực khác—thử trả lời từng câu hỏi với quyền truy cập Internet đầy đủ nhưng không dùng trợ lý AI, trung bình mất 37 phút. Người viết nhận thưởng khi chuyên gia trả lời đúng còn người không chuyên trả lời sai; cách này khuyến khích tạo câu hỏi có thể trả lời khách quan nhưng khó tra cứu.

Ví dụ hóa học hữu cơ được công bố cùng bài báo cho methylcyclopentadiene phản ứng với methyl isoamyl ketone để tạo ra các dẫn xuất fulvene, rồi các dẫn xuất này phản ứng với ethyl acrylate; câu hỏi yêu cầu xác định có bao nhiêu đồng phân khác biệt về mặt hóa học trong sản phẩm cuối. Để trả lời, cần xử lý từng bước phản ứng—đúng kiểu bài toán nhiều bước mà prompt chain-of-thought và model suy luận hướng đến.

Quy trình này tạo ra các mốc điểm chính của benchmark. Chuyên gia trả lời đúng 65% câu hỏi thuộc lĩnh vực của họ; tỷ lệ tăng lên 74% nếu loại trừ những lỗi mà họ nhận ra khi xem lại. Người không chuyên chỉ đạt 34%, cao hơn chín điểm so với mức 25% dự kiến khi đoán ngẫu nhiên; trên thực tế, đó là ý nghĩa của “chống Google”. Khi phát hành, baseline GPT-4 mạnh nhất, dùng prompt chain-of-thought few-shot, đạt khoảng 39%.

Bộ Extended, Main và Diamond#

GPQA được phát hành thành ba tập con lồng nhau, mỗi tập được lọc nghiêm ngặt hơn tập trước:

  • Mở rộng (546 câu hỏi): Toàn bộ câu hỏi được phát hành trước khi lọc. Các tác giả giữ lại thêm 18 câu hỏi làm bộ chưa phát hành.
  • Chính (448 câu hỏi): Ít nhất một trong hai chuyên gia thẩm định đồng ý với đáp án, và tối đa hai trong ba người không chuyên trả lời đúng.
  • Diamond (198 câu hỏi): Cả hai chuyên gia đều đồng ý với đáp án, và tối đa một người không chuyên trả lời đúng. Chuyên gia trả lời sai vẫn được tính là đồng ý nếu sau đó họ xác định rõ lỗi của chính mình.

Diamond là lựa chọn tiêu chuẩn để so sánh model vì bộ này giữ lại những câu hỏi có đáp án rõ ràng nhất và khoảng cách lớn nhất giữa chuyên gia với người không chuyên.

Đọc điểm GPQA#

Tháng 9 năm 2024, OpenAI báo cáo model suy luận o1 đạt độ chính xác cao hơn các chuyên gia tiến sĩ trên Diamond; đến năm 2026, điểm số cao nhất được báo cáo cho model tiên phong đã vượt 90%. Ở mức này, chênh lệch nhỏ cung cấp rất ít thông tin. Mỗi câu hỏi Diamond tương đương khoảng nửa điểm phần trăm; với độ chính xác 90% trên 198 câu hỏi, sai số chuẩn vào khoảng 2,1 điểm, nên khoảng tin cậy 95% rộng khoảng ±4 điểm và hai model chênh nhau vài điểm không thể phân biệt về mặt thống kê.

Chi tiết giao thức cũng làm thay đổi điểm số. Prompt zero-shot hay few-shot, việc có cho phép chain-of-thought hay không, số lượng mẫu lấy trung bình, việc xáo trộn phương án trả lời và việc model có thể dùng công cụ hay không đều làm thay đổi kết quả; vì vậy, so sánh công bằng cần giữ các yếu tố này cố định, như Humanity's Last Exam thực hiện bằng cách báo cáo riêng thiết lập công cụ. Nhiễm dữ liệu là một rủi ro khác đối với mọi benchmark công khai. Dữ liệu GPQA có chuỗi canary để quy trình huấn luyện có thể lọc bỏ; các tác giả yêu cầu người dùng không đăng nguyên văn câu hỏi lên mạng vì khi ví dụ lọt vào văn bản web, điểm số cao có thể phản ánh việc ghi nhớ—một dạng rò rỉ dữ liệu mà LiveCodeBench tránh bằng cách gắn ngày cho các bài toán.

Các benchmark thị giác tuân theo cùng một quy trình báo cáo. Tài liệu phát hiện đối tượng của Ultralytics liệt kê YOLO26 độ chính xác trung bình (mAP) trên tập val2017 gồm 5.000 ảnh của COCO bên cạnh lệnh validation chính xác dùng để tái tạo từng con số, trong đó có thêm nms=False để tái tạo cột end-to-end. Bảng xếp hạng VLM của Ultralytics đánh giá các mô hình thị giác-ngôn ngữ bằng cùng đoạn mã validation và ghi lại cách lấy mẫu ảnh cũng như chấm điểm từng bounding box.

Khám phá các giải pháp

Thị giác máy tính trong thể thao

Thị giác máy tính trong thể thao

Khám phá cách Ultralytics YOLO thúc đẩy thị giác máy tính trong thể thao với khả năng theo dõi cầu thủ và bóng, phân tích hiệu suất, cung cấp thông tin chuyên sâu cho huấn luyện và hỗ trợ phục hồi cho vận động viên.
Tìm hiểu thêm
Thị giác máy tính cho ảnh hàng không

Thị giác máy tính cho ảnh hàng không

Chuyển hình ảnh từ drone và ảnh hàng không thành thông tin chuyên sâu theo thời gian thực cho nông nghiệp, nuôi trồng thủy sản, bảo tồn và phân tích không gian địa lý với Ultralytics YOLO.
Tìm hiểu thêm
Thị giác máy tính trong hàng không vũ trụ

Thị giác máy tính trong hàng không vũ trụ

Ứng dụng computer vision trong ngành hàng không vũ trụ với Ultralytics YOLO cho kiểm tra máy bay, phát hiện dị vật trên đường băng (FOD), vận hành mặt đất tại sân bay và phát hiện lỗi vật liệu composite.
Tìm hiểu thêm
Computer vision trong lĩnh vực an ninh

Computer vision trong lĩnh vực an ninh

Bảo vệ mọi địa điểm bằng model Ultralytics YOLO. Vision AI hỗ trợ giám sát vành đai, phát hiện mối đe dọa, nhận dạng biển số và an toàn nơi làm việc.
Tìm hiểu thêm
Computer vision trong robotics

Computer vision trong robotics

Tăng cường năng lực cho máy móc thông minh bằng model Ultralytics YOLO. Vision AI trong lĩnh vực robotics hỗ trợ điều hướng tự động, nhận thức, theo dõi đối tượng và điều khiển theo thời gian thực.
Tìm hiểu thêm
Thị giác máy tính trong logistics

Thị giác máy tính trong logistics

Tinh giản hoạt động logistics với các model Ultralytics YOLO. Vision AI hỗ trợ kiểm tra kiện hàng, phân loại, theo dõi phương tiện và giám sát an toàn kho hàng theo thời gian thực.
Tìm hiểu thêm
Thị giác máy tính trong bán lẻ

Thị giác máy tính trong bán lẻ

Định hình lại hoạt động bán lẻ với các model Ultralytics YOLO. Vision AI hỗ trợ theo dõi hàng tồn kho, giám sát kệ hàng, quản lý hàng chờ và phân tích khách hàng thông minh hơn.
Tìm hiểu thêm
Thị giác máy tính trong chăm sóc sức khỏe

Thị giác máy tính trong chăm sóc sức khỏe

Xây dựng các giải pháp chăm sóc sức khỏe với model Ultralytics YOLO. Vision AI trong chăm sóc sức khỏe hỗ trợ xử lý hình ảnh y tế nhanh hơn, chẩn đoán thông minh hơn và theo dõi bệnh nhân.
Tìm hiểu thêm
Thị giác máy tính trong sản xuất

Thị giác máy tính trong sản xuất

Tối ưu hóa sản xuất bằng các model Ultralytics YOLO. Vision AI thúc đẩy kiểm soát chất lượng, phát hiện lỗi, tuân thủ PPE và tự động hóa dây chuyền lắp ráp.
Tìm hiểu thêm
Thị giác máy tính trong ngành ô tô

Thị giác máy tính trong ngành ô tô

Ứng dụng thị giác máy tính trong ngành ô tô với các model Ultralytics YOLO. Vision AI nâng cao an toàn giao thông, hỗ trợ người lái và tự động hóa phương tiện để tạo nên những tuyến đường thông minh hơn.
Tìm hiểu thêm
Thị giác máy tính trong nông nghiệp

Thị giác máy tính trong nông nghiệp

Ứng dụng AI thị giác vào nông nghiệp thông minh với các model Ultralytics YOLO. Hỗ trợ giám sát cây trồng, theo dõi vật nuôi và canh tác chính xác để nâng cao năng suất một cách thông minh hơn.
Tìm hiểu thêm

Hãy cùng nhau kiến tạo tương lai của AI!

Bắt đầu hành trình hướng đến tương lai của machine learning