Perplexity

Перплексия — это метрика качества предсказания последовательности вероятностной моделью. Её вычисляют как экспоненту среднего отрицательного логарифма правдоподобия, которое модель присваивает каждому фактическому следующему токену. Чем меньше значение, тем лучше. Перплексия 10 означает, что в среднем модель так же неуверенна, как если бы на каждом шаге выбирала один вариант из 10 равновероятных; поэтому это число часто интерпретируют как эффективный коэффициент ветвления. Фредерик Желинек, Роберт Мерсер, Лалит Бал и Джеймс Бейкер ввели эту метрику в IBM в 1977 году для оценки сложности задач распознавания речи; она по-прежнему остаётся стандартной внутренней метрикой для языкового моделирования. Например, GPT-2 от OpenAI с 1,5 миллиарда параметров достигла перплексии 17,48 на бенчмарке WikiText-103 в 2019 году, хотя не обучалась на нём.

Этим словом также называют две не связанные между собой вещи. Perplexity AI — компания, создающая поисковую систему на базе ИИ, а у t-SNE перплексия — это гиперпараметр, задающий приблизительное количество соседей, учитываемых каждой точкой при построении t-SNE двумерной карты многомерных данных.

Расчёт перплексии#

Для последовательности из N токенов: перплексия = exp(-(1/N) x сумма log p(token_i | все предыдущие токены)). Величина под экспонентой — это перекрёстная энтропия между текстом и предсказаниями модели, то есть та же функция потерь, которая используется для обучения больших языковых моделей (LLM). При натуральных логарифмах основание экспоненты равно e, а при логарифмах по основанию 2 — 2; перплексия при этом получается одинаковой. Функция перекрёстной энтропии в PyTorch по умолчанию использует натуральные логарифмы и усреднение по токенам, поэтому перплексия языковой модели равна просто exp(loss).

import math

# Probability the model assigned to each correct next token
token_probs = [0.50, 0.25, 0.80, 0.40]

# Cross-entropy is the average negative log-likelihood, in nats
cross_entropy = -sum(math.log(p) for p in token_probs) / len(token_probs)
print(f"Cross-entropy: {cross_entropy:.3f}, perplexity: {math.exp(cross_entropy):.2f}")

# A model that spreads probability evenly over 10 tokens has perplexity 10
uniform = -sum(math.log(0.1) for _ in token_probs) / len(token_probs)
print(f"Uniform perplexity: {math.exp(uniform):.2f}")

Для четырёх вероятностей кросс-энтропия составляет 0.805 нат, а перплексия — 2.24; значит, модель ведёт себя так, словно на каждом шаге выбирает один из примерно двух равновероятных токенов. Равномерное распределение подтверждает эту интерпретацию ветвления: вероятность 0.1 для каждого правильного токена даёт ровно 10.

Для длинных документов нужна осторожность. Модель с фиксированным контекстным окном оценивает текст фрагментами, и токены в начале неперекрывающегося фрагмента почти не видят контекста, что завышает перплексию. При оценке скользящим окном фрагменты перекрываются, поэтому каждый токен получает максимум предшествующего контекста, доступный модели, но вычислений требуется больше.

Как корректно сравнивать модели#

Сравнивать перплексию можно только у моделей, оценённых на одном и том же тексте с одинаковой токенизацией. Модель с большим словарём разбивает текст на меньшее количество токенов, которые сложнее предсказывать, поэтому её перплексию на токен нельзя напрямую сопоставить с перплексией модели, использующей более мелкие токены. Нормализация общего логарифма правдоподобия по числу байтов или символов — с представлением результата в битах на байт или битах на символ — устраняет эту зависимость.

Тестовые данные также не должны входить в обучающие данные. Модель, уже видевшая отрывок, присваивает ему необычно высокую вероятность, поэтому такая утечка данных создаёт впечатление, что перплексия лучше, чем реальное качество. Тот же эффект лежит в основе атак вывода о членстве в обучающей выборке: текст с подозрительно низкой перплексией помечается как вероятные обучающие данные.

Перплексия оценивает предсказание следующего токена для фиксированного текста. Чат-модели проходят настройку по инструкциям и обучение с подкреплением на основе отзывов людей (RLHF), чтобы выполнять запросы и соответствовать предпочтениям людей, поэтому их сравнивают по бенчмаркам для отдельных задач и оценкам человеческих предпочтений.

Применение не только для сравнения моделей#

Одно из важных применений — очистка данных. Конвейер CCNet, выпущенный исследователями Facebook AI в 2019 году, оценивал страницы Common Crawl с помощью языковой модели, обученной на Wikipedia, а затем делил их по перплексии на верхнюю, среднюю и нижнюю трети, считая тексты из верхней трети с низкой перплексией наиболее качественными. Многие конвейеры предварительного обучения аналогичным образом фильтруют веб-данные; это этап очистки данных в масштабе интернета. Детекторы текста, созданного ИИ, например GPTZero, также оценивают перплексию, поскольку текст, сгенерированный языковой моделью, обычно предсказуемее человеческого.

Формула применима к любой модели, обученной с кросс-энтропией. Модели классификации Ultralytics YOLO26 обучаются с помощью средней кросс-энтропийной функции потерь, поэтому exp(validation loss) — это перплексия по истинным меткам классов. Значение функции потерь на валидации 0.35 соответствует перплексии около 1.42: на среднем изображении модель распределяет уверенность так, словно колеблется примерно между 1.4 классами.