Humanity's Last Exam (HLE)

Humanity's Last Exam (HLE) — это бенчмарк из 2500 вопросов, составленных экспертами более чем по 100 академическим дисциплинам для оценки систем ИИ на переднем крае человеческих знаний. Center for AI Safety и Scale AI выпустили его в январе 2025 года, завершили подготовку публичного набора вопросов в апреле 2025 года и опубликовали его в журнале Nature в январе 2026 года. Название отражает цель: закрытый академический экзамен, достаточно сложный, чтобы оставаться информативным после того, как прежние тесты перестали различать лучшие большие языковые модели (LLM).

Эта проблема называется насыщением бенчмарка. К 2024 году передовые модели набрали на MMLU, широко используемом тесте знаний, более 90%, поэтому дальнейший прогресс стало трудно оценивать. HLE создавали так, чтобы те же модели набирали единицы процентов, и на старте так и произошло.

Как собирали вопросы#

Почти 1 000 экспертов в предметных областях из более чем 500 учреждений в 50 странах — в основном профессора, исследователи и обладатели учёных степеней — подготовили вопросы. Каждый вопрос-кандидат сначала проверяли на нескольких передовых LLMs и оставляли только в том случае, если модели отвечали на него неправильно или, для вопросов с выбором ответа, справлялись хуже, чем при случайном угадывании. После более чем 70 000 таких попыток около 13 000 вопросов оставили на проверку людям. В первом раунде рецензенты со степенями магистра и выше оставляли по каждому вопросу от одного до трёх отзывов, чтобы автор мог сформулировать его как вопрос закрытого типа и сделать формулировку однозначной; во втором организаторы и рецензенты утвердили лучшие вопросы для итогового набора. Этот фильтр похож на тот, что лежит в основе GPQA, в наборе Diamond которого оставляют только научные вопросы, на которые не смогло ответить большинство наиболее подготовленных неспециалистов с доступом к интернету. Призовой фонд в размере $500,000 предусматривал выплату по $5,000 за каждый из 50 лучших вопросов и по $500 за каждый из следующих 500 вопросов.

Математика составляет 41% набора, далее идут биология и медицина (11%), информатика и ИИ (10%), физика и гуманитарные науки (по 9%), химия (7%) и инженерное дело (4%). В одном опубликованном примере спрашивается, сколько пар сухожилий поддерживает сесамовидная кость, встречающаяся только у колибри, — такая деталь известна специалисту, но быстро не находится через поисковик. Около 24% вопросов предлагают варианты ответа. На остальные 76% нужно дать точный короткий ответ, который модель-судья, o3-mini в официальной таблице лидеров, сравнивает с эталоном, допуская эквивалентные формы, например дробь вместо десятичного числа. Закрытый тестовый набор позволяет обнаружить модели, переобучившиеся на публичных вопросах. Риск растёт, когда тексты бенчмарка попадают в обучающие данные, что представляет собой разновидность утечки данных. От неё LiveCodeBench защищается, проставляя даты в задачах.

Примерно 14% вопросов являются мультимодальными: к тексту прилагается схема, диаграмма или фотография надписи. Это делает HLE экспертным тестом на визуальные вопросы и ответы. Эти вопросы проверяют рассуждения мультимодальных моделей зрения и языка (VLM) — именно такие модели вызываются блоком LLM в агентах Ultralytics Platform после того, как детектор YOLO26 проверит изображение и отправит изображение с результатами детектора выбранной пользователем модели зрения и языка.

Точность и ошибка калибровки#

Для каждой модели HLE приводит два показателя:

• Точность: Доля вопросов, на которые дан правильный ответ. В исходной статье GPT-4o набрала 2,7%, Claude 3.5 Sonnet — 4,1%, Gemini 1.5 Pro — 4,6%, а модель рассуждения o1 от OpenAI — 8,0%. На вопросах только с текстом o3-mini набрала 13,4%.
• Ошибка калибровки: Каждый ответ сопровождается оценкой уверенности модели от 0% до 100%. Среднеквадратичный разрыв между заявленной уверенностью и фактической точностью показывает, насколько хорошо модель понимает границы собственных знаний. У моделей на момент запуска ошибка калибровки составляла от 73% до 89%: они уверенно отвечали на вопросы, в которых ошибались. Это измеримая форма галлюцинации.

Точность быстро росла с появлением моделей рассуждения, а калибровка отставала. В официальной таблице лидеров Gemini 3 Pro достигла точности 38,3% при ошибке калибровки 57,2%, а GPT-5 набрала 25,3% при ошибке 50,0%. Ошибка калибровки напрямую применяет количественную оценку неопределённости к LLM, а тот же разрыв между уверенностью и правильностью лежит в основе методов обнаружения, таких как семантическая энтропия.

Обновления: HLE-Rolling и HLE-Diamond#

В расследовании, о котором исследовательская лаборатория FutureHouse сообщила в июле 2025 года, было установлено, что почти 30% ответов на вопросы только по химии и биологии противоречили опубликованным научным работам; другие рецензенты отметили неоднозначность формулировок. Организаторы частично подтвердили результаты и в октябре 2025 года запустили HLE-Rolling — постоянно обновляемую версию бенчмарка. После года очистки данных 22 сентября 2026 года они выпустили HLE-Diamond: улучшенную подвыборку из 1000 вопросов, разделённых на 500 вопросов на рассуждение и 500 вопросов на знания, предназначенных для ответов без обращения к источникам. Доступ к инструментам существенно меняет результаты, поэтому таблицы лидеров и оценки агентов для каждой оценки указывают настройки инструментов. На момент выпуска GPT-6 Astra лидировала в HLE-Diamond с результатом 59,9% без инструментов и 82,9% с поиском в интернете и выполнением кода.