GPQA
GPQA — это научный тест для аспирантов: эксперты с докторской степенью отвечают правильно на 65% вопросов, а неспециалисты с доступом к поиску в интернете — на 34%. Набор Diamond и интерпретация результатов.
GPQA, сокращение от Graduate-Level Google-Proof Q&A, — это бенчмарк из 448 вопросов с несколькими вариантами ответа по биологии, химии и физике. Их составили специалисты в предметных областях так, чтобы специалисты могли ответить на них, а компетентные неспециалисты — нет даже при неограниченном доступе к интернету. Дэвид Райн и его коллеги из New York University, Cohere и Anthropic выпустили его в ноябре 2023 года вместе со статьёй GPQA: бенчмарк вопросов и ответов уровня аспирантуры, защищённый от поиска в Google, чтобы оценивать научные рассуждения больших языковых моделей (LLM). Более сложная подвыборка Diamond из 198 вопросов стала одной из самых часто публикуемых оценок в анонсах моделей — от GPT-5 OpenAI до моделей Claude 4 Anthropic.
Бенчмарк также создавался для исследований масштабируемого надзора — направления в области безопасности ИИ и сверхсогласования: если системы ИИ в будущем будут отвечать на вопросы, которые их люди-наставники не смогут проверить, нужны способы подтверждать правильность ответов. GPQA предлагает вопросы, для которых такой разрыв между специалистами и неспециалистами уже существует.
Как составляли и проверяли вопросы#
Авторы наняли через Upwork 61 подрядчика, каждый из которых имел или получал степень PhD. Автор составлял вопрос с одним правильным ответом и тремя правдоподобными отвлекающими вариантами. Второй специалист в той же области отвечал на вопрос и давал отзыв, после чего автор вносил правки, а третий специалист отвечал на обновлённую версию. Затем три неспециалиста-валидатора — специалисты с докторской степенью в других областях — отвечали на каждый вопрос с полным доступом к интернету, но без ИИ-помощников; в среднем на это уходило 37 минут. Авторы получали премии, если специалисты отвечали правильно, а неспециалисты — нет. Это поощряло составление вопросов, на которые можно объективно ответить, но которые трудно найти в интернете.
В опубликованном вместе со статьёй примере по органической химии метилциклопентадиен реагирует с метил-изоамилкетоном с образованием производных фульвена, которые затем реагируют с этилакрилатом. Вопрос: сколько химически различных изомеров содержит конечный продукт? Для ответа нужно разобрать каждый этап реакции — именно такие многоэтапные задачи решают промпты с цепочкой рассуждений и модели рассуждения.
Этот процесс сформировал основные исходные показатели бенчмарка. Специалисты правильно ответили на 65% вопросов по своей области; если исключить ошибки, которые они впоследствии распознали, показатель повышается до 74%. Неспециалисты набрали лишь 34% — на девять процентных пунктов выше ожидаемых при случайном угадывании 25%. Именно это на практике означает «защищённый от Google». На момент выпуска лучший исходный показатель GPT-4 с промптами с несколькими примерами и цепочкой рассуждений составлял около 39%.
Расширенный, основной и алмазный наборы#
GPQA включает три вложенные подвыборки, каждая из которых отфильтрована строже предыдущей:
- Расширенный набор (546 вопросов): Все опубликованные вопросы до фильтрации. Авторы также оставили 18 дополнительных вопросов в неопубликованном наборе.
- Основной набор (448 вопросов): С ответом согласился хотя бы один из двух экспертов-валидаторов, и не более двух из трёх неспециалистов ответили правильно.
- Diamond (198 вопросов): С ответом согласились оба эксперта, и не более одного неспециалиста ответил правильно. Если эксперт дал неверный ответ, но затем чётко распознал собственную ошибку, это всё равно считается согласием.
Diamond — стандартный вариант для сравнения моделей, поскольку в нём сохранены вопросы с наиболее однозначными ответами и самым большим разрывом между специалистами и неспециалистами.
Как интерпретировать результаты GPQA#
В сентябре 2024 года OpenAI сообщила, что её модель рассуждения o1 превзошла специалистов с PhD по точности на Diamond, а к 2026 году лучшие опубликованные результаты передовых моделей превысили 90%. На таком уровне небольшие разрывы мало о чём говорят. Каждый вопрос Diamond даёт около половины процентного пункта, а стандартная ошибка для 198 вопросов при точности 90% составляет около 2,1 пункта. Поэтому 95-процентный доверительный интервал простирается примерно на ±4 пункта, и модели, чьи результаты отличаются на несколько пунктов, статистически неразличимы.
Результаты также зависят от деталей протокола. На них влияют промпты без примеров или с несколькими примерами, разрешение на цепочку рассуждений, число усредняемых примеров, перемешивание вариантов ответа и доступ модели к инструментам. Поэтому при честном сравнении эти параметры фиксируют, как это делает бенчмарк Humanity's Last Exam, отдельно указывая настройки инструментов. Ещё один риск любого общедоступного бенчмарка — загрязнение обучающих данных. В данных GPQA есть строка-ловушка, позволяющая исключить их из конвейеров обучения, а авторы просят не публиковать вопросы в интернете открытым текстом. Если примеры попадут в веб-тексты, высокий результат может отражать запоминание — разновидность утечки данных, которой LiveCodeBench избегает, проставляя даты в задачах.
Визуальные бенчмарки следуют тем же правилам отчетности. В документации Ultralytics по обнаружению объектов указана средняя точность (mAP) YOLO26 на разделении COCO val2017 из 5 000 изображений, рядом приведена точная команда валидации, воспроизводящая каждое значение; для воспроизведения столбца сквозных результатов добавлен nms=False. Таблица лидеров VLM Ultralytics оценивает визуально-языковые модели с тем же кодом валидации и описывает, как выбираются изображения и оценивается каждый бокс.










