Лицензия YOLO
Назад к глоссарию Ultralytics

GPQA

GPQA — это научный тест для аспирантов: эксперты с докторской степенью отвечают правильно на 65% вопросов, а неспециалисты с доступом к поиску в интернете — на 34%. Набор Diamond и интерпретация результатов.

GPQA, сокращение от Graduate-Level Google-Proof Q&A, — это бенчмарк из 448 вопросов с несколькими вариантами ответа по биологии, химии и физике. Их составили специалисты в предметных областях так, чтобы специалисты могли ответить на них, а компетентные неспециалисты — нет даже при неограниченном доступе к интернету. Дэвид Райн и его коллеги из New York University, Cohere и Anthropic выпустили его в ноябре 2023 года вместе со статьёй GPQA: бенчмарк вопросов и ответов уровня аспирантуры, защищённый от поиска в Google, чтобы оценивать научные рассуждения больших языковых моделей (LLM). Более сложная подвыборка Diamond из 198 вопросов стала одной из самых часто публикуемых оценок в анонсах моделей — от GPT-5 OpenAI до моделей Claude 4 Anthropic.

Бенчмарк также создавался для исследований масштабируемого надзора — направления в области безопасности ИИ и сверхсогласования: если системы ИИ в будущем будут отвечать на вопросы, которые их люди-наставники не смогут проверить, нужны способы подтверждать правильность ответов. GPQA предлагает вопросы, для которых такой разрыв между специалистами и неспециалистами уже существует.

Как составляли и проверяли вопросы#

Авторы наняли через Upwork 61 подрядчика, каждый из которых имел или получал степень PhD. Автор составлял вопрос с одним правильным ответом и тремя правдоподобными отвлекающими вариантами. Второй специалист в той же области отвечал на вопрос и давал отзыв, после чего автор вносил правки, а третий специалист отвечал на обновлённую версию. Затем три неспециалиста-валидатора — специалисты с докторской степенью в других областях — отвечали на каждый вопрос с полным доступом к интернету, но без ИИ-помощников; в среднем на это уходило 37 минут. Авторы получали премии, если специалисты отвечали правильно, а неспециалисты — нет. Это поощряло составление вопросов, на которые можно объективно ответить, но которые трудно найти в интернете.

В опубликованном вместе со статьёй примере по органической химии метилциклопентадиен реагирует с метил-изоамилкетоном с образованием производных фульвена, которые затем реагируют с этилакрилатом. Вопрос: сколько химически различных изомеров содержит конечный продукт? Для ответа нужно разобрать каждый этап реакции — именно такие многоэтапные задачи решают промпты с цепочкой рассуждений и модели рассуждения.

Этот процесс сформировал основные исходные показатели бенчмарка. Специалисты правильно ответили на 65% вопросов по своей области; если исключить ошибки, которые они впоследствии распознали, показатель повышается до 74%. Неспециалисты набрали лишь 34% — на девять процентных пунктов выше ожидаемых при случайном угадывании 25%. Именно это на практике означает «защищённый от Google». На момент выпуска лучший исходный показатель GPT-4 с промптами с несколькими примерами и цепочкой рассуждений составлял около 39%.

Расширенный, основной и алмазный наборы#

GPQA включает три вложенные подвыборки, каждая из которых отфильтрована строже предыдущей:

  • Расширенный набор (546 вопросов): Все опубликованные вопросы до фильтрации. Авторы также оставили 18 дополнительных вопросов в неопубликованном наборе.
  • Основной набор (448 вопросов): С ответом согласился хотя бы один из двух экспертов-валидаторов, и не более двух из трёх неспециалистов ответили правильно.
  • Diamond (198 вопросов): С ответом согласились оба эксперта, и не более одного неспециалиста ответил правильно. Если эксперт дал неверный ответ, но затем чётко распознал собственную ошибку, это всё равно считается согласием.

Diamond — стандартный вариант для сравнения моделей, поскольку в нём сохранены вопросы с наиболее однозначными ответами и самым большим разрывом между специалистами и неспециалистами.

Как интерпретировать результаты GPQA#

В сентябре 2024 года OpenAI сообщила, что её модель рассуждения o1 превзошла специалистов с PhD по точности на Diamond, а к 2026 году лучшие опубликованные результаты передовых моделей превысили 90%. На таком уровне небольшие разрывы мало о чём говорят. Каждый вопрос Diamond даёт около половины процентного пункта, а стандартная ошибка для 198 вопросов при точности 90% составляет около 2,1 пункта. Поэтому 95-процентный доверительный интервал простирается примерно на ±4 пункта, и модели, чьи результаты отличаются на несколько пунктов, статистически неразличимы.

Результаты также зависят от деталей протокола. На них влияют промпты без примеров или с несколькими примерами, разрешение на цепочку рассуждений, число усредняемых примеров, перемешивание вариантов ответа и доступ модели к инструментам. Поэтому при честном сравнении эти параметры фиксируют, как это делает бенчмарк Humanity's Last Exam, отдельно указывая настройки инструментов. Ещё один риск любого общедоступного бенчмарка — загрязнение обучающих данных. В данных GPQA есть строка-ловушка, позволяющая исключить их из конвейеров обучения, а авторы просят не публиковать вопросы в интернете открытым текстом. Если примеры попадут в веб-тексты, высокий результат может отражать запоминание — разновидность утечки данных, которой LiveCodeBench избегает, проставляя даты в задачах.

Визуальные бенчмарки следуют тем же правилам отчетности. В документации Ultralytics по обнаружению объектов указана средняя точность (mAP) YOLO26 на разделении COCO val2017 из 5 000 изображений, рядом приведена точная команда валидации, воспроизводящая каждое значение; для воспроизведения столбца сквозных результатов добавлен nms=False. Таблица лидеров VLM Ultralytics оценивает визуально-языковые модели с тем же кодом валидации и описывает, как выбираются изображения и оценивается каждый бокс.

Изучи решения

Компьютерное зрение в спорте

Компьютерное зрение в спорте

Узнай, как Ultralytics YOLO обеспечивает компьютерное зрение в спорте: отслеживание игроков и мяча, аналитика результатов, полезные выводы для тренеров и реабилитация спортсменов.
Подробнее
Компьютерное зрение для аэросъёмки

Компьютерное зрение для аэросъёмки

Превращай снимки с дронов и аэрофотоснимки в полезные данные в реальном времени для сельского хозяйства, аквакультуры, охраны природы и геопространственного анализа с Ultralytics YOLO.
Подробнее
Компьютерное зрение в аэрокосмической отрасли

Компьютерное зрение в аэрокосмической отрасли

Применяй компьютерное зрение в аэрокосмической отрасли с Ultralytics YOLO: для осмотра самолётов, обнаружения посторонних предметов на взлётно-посадочных полосах, наземного обслуживания аэропортов и выявления дефектов композитных материалов.
Подробнее
Компьютерное зрение в сфере безопасности

Компьютерное зрение в сфере безопасности

Защити любой объект с помощью моделей Ultralytics YOLO. ИИ на базе компьютерного зрения обеспечивает мониторинг периметра, обнаружение угроз, распознавание номерных знаков и безопасность на рабочем месте.
Подробнее
Компьютерное зрение в робототехнике

Компьютерное зрение в робототехнике

Создавай более интеллектуальные машины с моделями Ultralytics YOLO. ИИ на базе компьютерного зрения в робототехнике обеспечивает автономную навигацию, восприятие, отслеживание объектов и управление в реальном времени.
Подробнее
Компьютерное зрение в логистике

Компьютерное зрение в логистике

Оптимизируй логистику с моделями Ultralytics YOLO. Визуальный AI обеспечивает проверку посылок, сортировку, отслеживание транспорта и мониторинг безопасности на складе в реальном времени.
Подробнее
Компьютерное зрение в розничной торговле

Компьютерное зрение в розничной торговле

Переосмысли розничную торговлю с моделями Ultralytics YOLO. Визуальный AI обеспечивает отслеживание запасов, мониторинг полок, управление очередями и более глубокое понимание поведения покупателей.
Подробнее
Компьютерное зрение в здравоохранении

Компьютерное зрение в здравоохранении

Создавай решения для здравоохранения с моделями Ultralytics YOLO. Визуальный AI в здравоохранении ускоряет медицинскую визуализацию, улучшает диагностику и мониторинг пациентов.
Подробнее
Компьютерное зрение в производстве

Компьютерное зрение в производстве

Оптимизируй производство с моделями Ultralytics YOLO. Компьютерное зрение на базе ИИ обеспечивает контроль качества, обнаружение дефектов, контроль использования СИЗ и автоматизацию сборочных линий.
Подробнее
Компьютерное зрение в автомобильной отрасли

Компьютерное зрение в автомобильной отрасли

Применяй компьютерное зрение в автомобильной отрасли с моделями Ultralytics YOLO. Компьютерное зрение на базе ИИ повышает безопасность дорожного движения, улучшает помощь водителю и автоматизацию автомобилей, делая дороги умнее.
Подробнее
Компьютерное зрение в сельском хозяйстве

Компьютерное зрение в сельском хозяйстве

Внедряй ИИ для компьютерного зрения в умное сельское хозяйство с моделями Ultralytics YOLO. Используй их для мониторинга посевов, отслеживания скота и точного земледелия, чтобы повысить урожайность и эффективность.
Подробнее

Давай вместе строить будущее ИИ!

Начни свой путь в будущее машинного обучения