Humanity's Last Exam (HLE)

Humanity's Last Exam(HLE)은 100개가 넘는 학문 분야의 전문가 작성 문항 2,500개로 구성된 벤치마크로, 인간 지식의 최전선에서 AI 시스템을 평가하기 위해 개발되었습니다. Center for AI Safety와 Scale AI가 2025년 1월에 공개하고 2025년 4월에 공개 문항 세트를 확정했으며, 2026년 1월 Nature에 발표했습니다. 이 이름은 이전 시험들이 최상위 대규모 언어 모델(LLM)을 구분하지 못하게 된 뒤에도 유용한 정보를 제공할 만큼 어려운 비공개형 학술 시험을 만들겠다는 목표를 반영합니다.

이 문제는 벤치마크 포화 현상입니다. 2024년에는 널리 사용되는 지식 평가인 MMLU에서 최첨단 모델의 점수가 90%를 넘어 추가적인 향상을 해석하기 어려웠습니다. HLE는 같은 모델의 점수가 한 자릿수에 머물도록 설계되었으며, 출시 당시 실제로 그랬습니다.

질문 수집 방법#

주로 교수, 연구자, 대학원 학위 보유자로 구성된 50개국 500여 기관의 분야 전문가 약 1,000명이 문항을 작성했습니다. 각 후보 문항을 먼저 여러 최첨단 LLM으로 테스트하고, 모델이 틀리거나 객관식 문항에서 무작위 추측보다 못한 경우에만 채택했습니다. 7만 회가 넘는 시도 끝에 약 1만 3,000개 문항이 사람의 검토 대상으로 남았습니다. 첫 번째 단계에서는 대학원 학위 보유 검토자들이 각 문항을 한 차례에서 세 차례 검토해 작성자가 폐쇄형 문항으로 명확하게 다듬도록 했습니다. 두 번째 단계에서는 주최자와 검토자들이 최종 세트에 포함할 우수 문항을 승인했습니다. 이 필터는 웹에 접근할 수 있는 숙련된 비전문가 대부분이 실패한 과학 문항만 유지하는 GPQA의 Diamond 세트와 유사합니다. 50만 달러의 상금 중 상위 50개 문항에는 각 5,000달러, 다음 500개 문항에는 각 500달러가 지급되었습니다.

문항의 41%는 수학이며, 생물학 및 의학이 11%, 컴퓨터 과학 및 AI가 10%, 물리학과 인문학이 각각 9%, 화학이 7%, 공학이 4%를 차지합니다. 공개된 예시 중 하나는 벌새에게만 존재하는 종자골이 지지하는 한 쌍의 힘줄이 몇 개인지 묻습니다. 전문가라면 알지만 검색 엔진으로는 빠르게 찾기 어려운 종류의 세부 정보입니다. 문항의 약 24%는 객관식입니다. 나머지 76%에는 정확하고 짧은 답변이 필요합니다. 공식 리더보드에서 o3-mini를 사용하는 심사 모델은 이 답변을 기준 정답과 비교하며, 소수 대신 분수를 사용하는 것과 같은 동등한 형식도 허용합니다. 비공개 보류 세트는 공개 문항에 대한 모델의 과적합을 탐지합니다. 벤치마크 텍스트가 학습 데이터에 유출되면 위험이 커지며, 이는 LiveCodeBench가 문제에 날짜를 표시해 방지하는 데이터 누출의 한 형태입니다.

문항의 약 14%는 텍스트와 도표, 차트, 사진으로 촬영한 명문을 결합한 멀티모달 문항으로, HLE는 전문가 수준의 시각 질의응답 평가가 됩니다. 이 문항들은 비전-언어 모델(VLM)의 추론 능력을 평가합니다. Ultralytics Platform Agents의 LLM 블록은 YOLO26 감지기가 이미지를 선별한 뒤, 이미지와 감지 결과를 사용자가 선택한 비전-언어 모델에 전달하고 해당 모델을 호출합니다.

정확도와 보정 오차#

HLE는 모든 모델에 대해 두 가지 수치를 보고합니다:

• 정확도: 정답을 맞힌 문항의 비율입니다. 원 논문에서 GPT-4o는 2.7%, Claude 3.5 Sonnet은 4.1%, Gemini 1.5 Pro는 4.6%를 기록했으며, OpenAI의 o1 추론 모델은 8.0%, o3-mini는 텍스트 전용 문항에서 13.4%를 기록했습니다.
• 보정 오차: 모델은 각 답변에 대해 0%에서 100% 사이의 신뢰도를 표시하며, 표시된 신뢰도와 실제 정확도 간의 제곱 평균 제곱근 차이로 모델이 자신이 아는 것을 얼마나 잘 파악하는지 측정합니다. 출시 당시 모델의 보정 오차는 73%에서 89% 사이였습니다. 즉, 틀린 질문에도 확신에 찬 답변을 제공했으며, 이는 측정 가능한 환각의 한 형태입니다.

추론 모델의 정확도는 빠르게 향상되었지만 보정은 뒤처졌습니다. 공식 리더보드에서 Gemini 3 Pro는 정확도 38.3%, 보정 오차 57.2%를 기록했으며, GPT-5는 정확도 25.3%, 보정 오차 50.0%를 기록했습니다. 보정 오차는 LLM에 불확실성 정량화를 직접 적용한 사례이며, 신뢰도와 정답 여부 간의 같은 격차가 의미 엔트로피와 같은 탐지 방법의 기반이 됩니다.

개정판: HLE-Rolling 및 HLE-Diamond#

AI 연구소 FutureHouse가 조사해 2025년 7월 보고한 바에 따르면, 텍스트 전용 화학 및 생물학 답변 중 약 30%가 발표된 문헌과 상충했으며 다른 검토자들은 모호한 표현을 지적했습니다. 주최 측은 조사 결과 일부를 재현하고 2025년 10월 지속적으로 업데이트되는 파생 벤치마크 HLE-Rolling을 출시했습니다. 1년간 정제 작업을 거친 뒤 2026년 9월 22일 HLE-Diamond를 공개했습니다. 이는 추론 문항 500개와 지식 문항 500개로 구성된 정제된 1,000개 문항의 하위 집합으로, 외부 자료 없이 답하도록 설계되었습니다. 도구 접근 여부에 따라 결과가 크게 달라지므로 리더보드와 에이전트 평가는 모든 점수와 함께 도구 설정을 보고합니다. 공개 당시 GPT-6 Astra는 도구 없이 59.9%, 웹 검색 및 코드 실행을 사용해 82.9%를 기록하며 HLE-Diamond 1위를 차지했습니다.