GPQA

GPQA расшифровывается как Graduate-Level Google-Proof Question Answering — бенчмарк, который оценивает, насколько хорошо системы ИИ отвечают на сложные научные вопросы. Он проверяет специальные знания и способность рассуждать в биологии, химии и физике с помощью вопросов с вариантами ответов, составленных экспертами в этих областях. Проще говоря, GPQA проверяет, может ли система применять научные знания, а не просто узнавать знакомые факты или находить подходящее предложение.

Для большой языковой модели, которая обрабатывает и генерирует текст, GPQA служит специализированной метрикой способности отвечать на сложные научные вопросы. Это инструмент оценки, а не архитектура модели, метод обучения или подтверждение научной компетентности.

Как работает GPQA#

В каждом вопросе предлагается четыре варианта ответа: один правильный и три отвлекающих — правдоподобных, но неверных альтернативы. Чтобы решить задачу, может потребоваться интерпретировать предположения, связать несколько принципов или отвергнуть объяснения, которые на первый взгляд кажутся разумными.

Например, вопрос по химии может описывать конкурирующие пути реакции и спрашивать, какой продукт будет преобладать при определённых условиях. Знания названия реакции может быть недостаточно: системе необходимо применить соответствующие ограничения. Этот пример иллюстрирует тип задачи, а не воспроизводит вопрос из бенчмарка.

«Устойчивый к Google» описывает цель, заложенную в дизайн бенчмарка: вопросы должны оставаться сложными для сведущих неспециалистов даже при доступе к интернету. Это не означает, что ответы невозможно найти в сети или что поиск запрещён при любой оценке. Допустимость инструментов определяется протоколом тестирования, и её необходимо указывать.

GPQA Diamond и связанные понятия#

Основной набор GPQA содержит 448 вопросов. GPQA Diamond — более тщательно отфильтрованная подвыборка из 198 вопросов, ориентированная на согласие экспертов и сложность для неспециалистов. В документации по оценке GPQA Diamond описаны формат с четырьмя вариантами ответа и научные дисциплины. Diamond — это не отдельная модель и не универсальный тест интеллекта; его результаты нельзя считать взаимозаменяемыми с результатами основного набора.

SuperGPQA — отдельный, более широкий тест для выпускников, охватывающий множество дисциплин, а не только три научные области GPQA. Сходство названий не означает, что результаты можно напрямую сравнивать.

GPQA также отличается от ответов на вопросы — общей задачи, состоящей в формировании ответов на вопросы. GPQA — это конкретная оценка этой способности. В отличие от визуальных ответов на вопросы, GPQA не проверяет интерпретацию изображений для ответа на вопросы. Поэтому высокие результаты в работе с научным текстом не подтверждают точность визуального восприятия.

Что означает результат GPQA#

Основная метрика — точность ответов: доля вопросов, на которые дан правильный ответ. При четырёх вариантах случайный выбор даёт ожидаемую точность 25%. Гипотетический результат — 150 правильных ответов из 198 — соответствует примерно 75,8%.

Однако одного процента недостаточно. Для сравнения следует указать подвыборку, версию модели, промпт, доступ к инструментам, бюджет на рассуждение и число попыток. Один ответ на каждый вопрос — это не то же самое, что генерация нескольких ответов с последующим выбором среди них.

К небольшим различиям в результатах тоже следует относиться осторожно. Каждый дополнительный правильный ответ в Diamond повышает точность примерно на 0,5 процентного пункта. Биномиальные доверительные интервалы помогают описать неопределённость, хотя и не устраняют смещение набора данных или различия в протоколах.

Правильный выбор не гарантирует правильного объяснения. Система может выбрать верный вариант, но при этом выдать галлюцинацию — правдоподобное, но ничем не подтверждённое объяснение. Поэтому результаты GPQA должны дополнять тестирование для конкретного приложения, а не заменять его.

Два практических примера применения#

Выбор научного помощника. Представь, что лаборатория сравнивает помощников, объясняющих неожиданную активность ферментов. GPQA может дать первичное представление о научных способностях системы. Затем команде следует проверить собственные экспериментальные сценарии и поручить специалистам оценку объяснений. Если спутать корреляцию с механизмом, это может направить последующие эксперименты по неверному пути даже при высоком результате бенчмарка.

Помощь в микроскопии. Представь систему, которая объединяет детектор клеток и помощника, объясняющего изменения в их количестве. GPQA может помочь оценить научное рассуждение языковой компоненты, но ничего не говорит о том, пропустил ли детектор перекрывающиеся клетки. Оценивай обнаружение и интерпретацию отдельно, а затем тестируй весь процесс. Такой подход с учётом конкретного контекста соответствует Рамочной программе NIST по управлению рисками ИИ.

Практические рекомендации по оценке#

Сохраняй достоверность оценки, используя отдельные обучающую, валидационную и тестовую выборки. Избегай утечки данных, когда информация об оценке влияет на разработку и завышает видимые результаты. Публичность бенчмарка также может затруднить интерпретацию.

Для приложения, объединяющего компьютерное зрение и язык, оценивай визуальную компоненту с помощью её собственных метрик. После установки ultralytics с помощью pip install ultralytics этот документированный процесс валидации Ultralytics YOLO позволяет оценить YOLO26:

from ultralytics import YOLO

if __name__ == "__main__":
    # Загрузи предварительно обученный детектор объектов.
    model = YOLO("yolo26n.pt")

    # Сравни предсказания с размеченными валидационными изображениями.
    metrics = model.val(data="coco8.yaml")

    # Отчитайся о качестве обнаружения, а не о научных рассуждениях.
    print("mAP50-95:", metrics.box.map)

Пример набора данных COCO8 демонстрирует работу API; он слишком мал, чтобы делать выводы о пригодности для развёртывания. Результат — средняя точность, которая оценивает обнаружение при разных порогах перекрытия ограничивающих рамок, а не результат GPQA. Главное — соотносить каждое утверждение о качестве с фактически измеряемой способностью.