Jagged Intelligence

Зубчатый интеллект описывает неравномерный профиль возможностей современных систем ИИ: одна и та же модель может справляться со сложными задачами на экспертном уровне и ошибаться в простых задачах, которые большинству людей кажутся элементарными. В 2024 году Андрей Карпатый ввёл этот термин для описания больших языковых моделей (LLM), которые решали сложные математические задачи, но при этом настаивали, что 9.11 больше 9.9. Ещё одним известным примером стала ошибка при подсчёте буквы «r» в слове «strawberry». Если изобразить компетентность такой модели для разных задач, получится зубчатая линия с резкими пиками и глубокими провалами; по пикам трудно предсказать, где окажутся провалы.

Почему возможности неравномерны#

Модель лучше всего справляется с задачами, для которых в её обучающих данных много примеров и внутреннее представление хорошо подходит; оба условия могут сильно различаться от задачи к задаче. Представление объясняет многие известные ошибки в работе с текстом. Токенизация разбивает текст на субсловные токены до того, как модель его увидит, как показывает токенизатор OpenAI для GPT-4o:

import tiktoken

# o200k_base — токенизатор, который использует GPT-4o от OpenAI
encoding = tiktoken.get_encoding("o200k_base")

for question in ["How many r letters are in strawberry?", "Which is bigger, 9.11 or 9.9?"]:
    tokens = [encoding.decode([t]) for t in encoding.encode(question)]
    print(tokens)

Слово « strawberry» представлено одним токеном, поэтому модель не видит в нём три буквы r и должна восстанавливать написание по обучающему тексту. Числа представлены как «9», «.», «11» и «9», «.», «9»; во многих текстах такие пары — это номера версий, даты или главы книг, где 9.11 действительно идёт после 9.9, а 11 больше 9. Поэтому модель отвечает, опираясь на эти закономерности, вместо того чтобы сравнить числа.

Многое объясняется и охватом данных. Навыки, которые постоянно встречаются в обучающих данных, становятся надёжными, а редкие форматы, необычные формулировки и пограничные случаи остаются слабым местом, какими бы простыми они ни казались человеку. Такой же закономерности следуют модели компьютерного зрения. Модель детекции объектов может отлично распознавать распространённые крупные объекты при дневном свете, но заметно хуже справляться с мелкими объектами, редкими классами или необычными ракурсами, хотя человеку все эти задачи кажутся одинаково простыми.

Зубчатый профиль возможностей отличается от парадокса Моравека — наблюдения Ханса Моравека 1988 года о том, что сложные для людей задачи, например шахматы, легко даются компьютерам, а простые для человека навыки, такие как восприятие и движение, трудно даются машинам. Зубчатые способности не следуют человеческим представлениям о сложности ни в одном направлении, поэтому интуиция о том, что «просто», плохо подсказывает, в каких задачах модель потерпит неудачу.

Зубчатая граница возможностей на практике#

Та же неравномерность влияет на работу людей с ИИ. В полевом эксперименте 2023 года с участием 758 консультантов Boston Consulting Group исследователи из Гарвардской школы бизнеса и других учреждений описали зубчатый технологический рубеж. На 18 задачах внутри этого рубежа консультанты, использовавшие GPT-4, выполнили на 12,2% больше задач, работали на 25,1% быстрее, а качество их работы оценивалось более чем на 40% выше. В задаче чуть за пределами рубежа консультанты с ИИ на 19 процентных пунктов реже давали правильный ответ, чем те, кто работал без него. Зубчатый интеллект обозначает неравномерный профиль возможностей модели, а зубчатый рубеж — границу между задачами, которым ИИ помогает, и задачами, с которыми он незаметно справляется хуже.

Зубчатый профиль также усложняет заявления об искусственном общем интеллекте (AGI). Средний балл по обширному набору данных для бенчмарка может стабильно расти, тогда как отдельные провалы сохраняются; поэтому средний показатель в заголовке мало говорит о надёжности модели при выполнении конкретной задачи.

Как измерить зубчатый профиль#

Неравномерность возможностей становится заметной, если оценивать модель по отдельным срезам, а не сводить всё к одному числу. Для детектора первый срез — по классам. Режим Validation в Ultralytics YOLO26 показывает среднюю точность (mAP) в целом и для каждого класса в метках валидации; если отсортировать метрики по классам, сначала окажутся провалы:

from ultralytics import YOLO

# Validate a pretrained detector on labeled images
model = YOLO("yolo26n.pt")
metrics = model.val(data="coco8.yaml")

# One row per class in the validation labels, weakest first
rows = sorted(metrics.summary(), key=lambda row: row["mAP50-95"])
print(f"Overall mAP50-95: {metrics.box.map:.3f}")
for row in rows[:3]:
    print(f"{row['Class']}: {row['mAP50-95']} mAP50-95 over {row['Instances']} instances")

На полной валидационной выборке, например на 5 000 изображений COCO, такое разбиение указывает, каким классам нужны дополнительные данные или более внимательная проверка их меток. Классы — лишь первый срез. Освещение, угол камеры, движение и перекрытия могут скрывать собственные провалы, а тестирование модели на новых изображениях, снятых в таких условиях, помогает их обнаружить:

После развёртывания профиль продолжает меняться вместе со входными данными, а отслеживание дрейфа данных показывает, когда производственные изображения начинают попадать в области, не охваченные валидационной выборкой.