GPQA
GPQA는 박사 학위 전문가가 65%, 웹 검색을 이용하는 비전문가가 34%를 맞히는 대학원 수준 과학 벤치마크입니다. Diamond 세트와 점수 해석 방법을 다룹니다.
GPQA는 Graduate-Level Google-Proof Q&A의 약칭으로, 생물학, 화학, 물리학 분야의 객관식 문항 448개로 구성된 벤치마크입니다. 해당 분야 전문가라면 풀 수 있지만 숙련된 비전문가는 웹에 제한 없이 접근해도 풀 수 없도록 도메인 전문가들이 문항을 작성했습니다. New York University, Cohere, Anthropic의 David Rein과 동료들은 대규모 언어 모델(LLM)의 과학적 추론 능력을 측정하기 위해 2023년 11월 논문 GPQA: 대학원 수준의 Google-Proof Q&A 벤치마크와 함께 이를 공개했습니다. 더 어려운 198개 문항의 Diamond 하위 집합은 OpenAI의 GPT-5부터 Anthropic의 Claude 4 모델까지 모델 발표에서 가장 널리 보고되는 점수 중 하나가 되었습니다.
이 벤치마크는 AI 안전성과 초정렬의 한 분야인 확장 가능한 감독 연구를 위해서도 개발되었습니다. AI 시스템이 인간 감독자가 검증할 수 없는 질문에 답하게 된다면 사람들은 그 답을 확인할 방법이 필요합니다. GPQA는 전문가와 비전문가 사이에 이미 그러한 격차가 존재하는 질문을 제공합니다.
문항 작성 및 검증 방식#
저자들은 Upwork를 통해 박사 학위를 보유했거나 취득 중인 계약자 61명을 고용했습니다. 한 작성자가 정답 하나와 그럴듯한 오답 세 개가 있는 문항을 초안으로 작성했습니다. 같은 분야의 두 번째 전문가가 답을 내고 피드백을 제공하면 작성자가 문항을 수정했고, 세 번째 전문가가 수정된 문항에 답했습니다. 이후 다른 분야의 박사급 전문가인 비전문가 검증자 세 명이 AI 어시스턴트 없이 인터넷에 자유롭게 접근해 각 문항을 풀었으며, 평균 37분이 걸렸습니다. 전문가들은 정답을 맞히고 비전문가들은 맞히지 못했을 때 작성자에게 보너스가 지급되어, 객관적으로 답할 수 있지만 검색으로 쉽게 찾기 어려운 문항을 장려했습니다.
논문과 함께 공개된 유기화학 예시에서는 메틸사이클로펜타다이엔과 메틸 아이소아밀 케톤을 반응시켜 풀벤 유도체를 만든 뒤, 이를 에틸 아크릴레이트와 반응시키고 최종 생성물에 화학적으로 구별되는 이성질체가 몇 개 있는지 묻습니다. 답하려면 각 반응 단계를 차례로 살펴봐야 합니다. 이는 사고 연쇄 프롬프팅과 추론 모델이 다루려는 다단계 문제입니다.
이 과정에서 벤치마크의 대표 기준 점수가 산출되었습니다. 전문가들은 자기 분야 질문의 65%에 정답을 맞혔으며, 나중에 되돌아봤을 때 실수였음을 인지한 답변을 제외하면 74%로 상승했습니다. 비전문가의 정답률은 34%로 무작위 추측으로 기대되는 25%보다 9%포인트 높았습니다. 이것이 실제로 'Google-proof'라는 뜻입니다. 공개 당시 GPT-4의 가장 강력한 기준선은 몇 샷 사고 연쇄 프롬프팅을 사용했을 때 약 39%를 기록했습니다.
Extended, Main 및 Diamond 세트#
GPQA는 서로 포함 관계에 있으며, 각 단계마다 더 엄격하게 필터링된 세 가지 하위 집합으로 제공됩니다:
- 확장판(문항 546개): 필터링 전 공개된 모든 문항입니다. 저자들은 추가로 18개 문항을 미공개 세트로 보류했습니다.
- 메인(문항 448개): 전문가 검증자 두 명 중 한 명 이상이 정답에 동의하고, 비전문가 세 명 중 정답자가 두 명 이하인 문항입니다.
- Diamond(문항 198개): 전문가 두 명 모두 정답에 동의하고, 정답을 맞힌 비전문가가 한 명 이하인 문항입니다. 잘못 답한 전문가가 나중에 자신의 실수를 명확하게 인정했다면 동의한 것으로 간주합니다.
Diamond는 가장 명확한 정답과 전문가 및 비전문가 간의 가장 큰 격차를 보이는 문항을 유지하므로 모델 비교의 표준 선택지입니다.
GPQA 점수 읽기#
OpenAI는 2024년 9월 o1 추론 모델이 Diamond에서 박사급 전문가의 정확도를 넘어섰다고 발표했으며, 2026년에는 최첨단 모델의 최고 보고 점수가 90%를 초과했습니다. 이 수준에서는 작은 차이가 많은 정보를 제공하지 않습니다. Diamond 문항 하나의 배점은 약 0.5%포인트이며, 문항 198개에서 정확도가 90%일 때 표준 오차는 약 2.1%포인트입니다. 따라서 95% 신뢰 구간은 약 ±4%포인트에 이르므로 몇 퍼센트포인트 차이가 나는 두 모델은 통계적으로 구별할 수 없습니다.
프로토콜 세부 사항도 점수에 영향을 줍니다. 제로샷 또는 퓨샷 프롬프팅 여부, 사고 연쇄 허용 여부, 평균을 내는 샘플 수, 답변 선택지의 순서 무작위화 여부, 모델의 도구 사용 가능 여부에 따라 결과가 달라집니다. 따라서 공정한 비교를 위해서는 이러한 조건을 고정해야 하며, Humanity's Last Exam은 도구 설정을 별도로 보고합니다. 공개 벤치마크에는 데이터 오염도 위험 요소입니다. GPQA 데이터에는 학습 파이프라인에서 필터링할 수 있도록 카나리 문자열이 포함되어 있으며, 저자들은 문항이 웹 텍스트에 유출되어 높은 점수가 암기를 반영하게 될 수 있으므로 질문을 일반 텍스트로 온라인에 게시하지 말 것을 요청합니다. 이는 LiveCodeBench가 문제에 날짜를 표시해 방지하는 데이터 누출의 한 형태입니다.
Ultralytics 객체 탐지 문서에는 5,000개 이미지로 구성된 COCO val2017 분할에서 YOLO26의 평균 정밀도(mAP)가 각 수치를 재현하는 정확한 검증 명령과 함께 나와 있으며, 종단 간 열을 재현하기 위해 nms=False도 추가되어 있습니다. Ultralytics VLM 리더보드는 동일한 검증 코드로 비전 언어 모델을 평가하고, 이미지 샘플링 방식과 각 박스의 점수 산정 방식을 문서화합니다.










