Perplexity

Perplexidade é uma métrica que mede o desempenho de um modelo probabilístico ao prever uma sequência. Ela é calculada como a exponencial da média da log-verossimilhança negativa que o modelo atribui a cada token seguinte observado. Valores menores são melhores. Uma perplexidade de 10 significa que, em média, o modelo tem o mesmo nível de incerteza que teria ao escolher uniformemente entre 10 opções em cada etapa, por isso esse número costuma ser interpretado como um fator de ramificação efetivo. Frederick Jelinek, Robert Mercer, Lalit Bahl e James Baker a introduziram na IBM em 1977 para medir a dificuldade de tarefas de reconhecimento de fala, e ela continua sendo a métrica intrínseca padrão para a modelagem de linguagem. Por exemplo, o GPT-2 da OpenAI, com 1,5 bilhão de parâmetros, alcançou uma perplexidade de 17,48 no benchmark WikiText-103 em 2019, sem ter sido treinado nele.

A palavra também designa duas coisas sem relação entre si. A Perplexity AI é uma empresa de mecanismos de busca com IA, e o t-SNE tem um hiperparâmetro de perplexidade que define aproximadamente quantos vizinhos cada ponto considera quando o t-SNE cria um mapa 2D de dados de alta dimensão.

Como calcular a perplexidade#

Para uma sequência de N tokens, perplexidade = exp(-(1/N) x soma do log p(token_i | todos os tokens anteriores)). A quantidade dentro da exponencial é a entropia cruzada entre o texto e as previsões do modelo, a mesma função de perda usada para treinar modelos de linguagem grandes (LLMs). Com logaritmos naturais, a base é e; com logaritmos de base 2, é 2, e ambos resultam na mesma perplexidade. A perda de entropia cruzada do PyTorch usa logaritmos naturais e calcula a média dos tokens por padrão, então a perplexidade de um modelo de linguagem é simplesmente exp(loss).

import math

# Probability the model assigned to each correct next token
token_probs = [0.50, 0.25, 0.80, 0.40]

# Cross-entropy is the average negative log-likelihood, in nats
cross_entropy = -sum(math.log(p) for p in token_probs) / len(token_probs)
print(f"Cross-entropy: {cross_entropy:.3f}, perplexity: {math.exp(cross_entropy):.2f}")

# A model that spreads probability evenly over 10 tokens has perplexity 10
uniform = -sum(math.log(0.1) for _ in token_probs) / len(token_probs)
print(f"Uniform perplexity: {math.exp(uniform):.2f}")

As quatro probabilidades resultam em uma entropia cruzada de 0.805 nats e uma perplexidade de 2.24, de modo que o modelo se comporta como se escolhesse entre cerca de dois tokens igualmente prováveis em cada etapa. O caso uniforme confirma essa interpretação como fator de ramificação: uma probabilidade de 0.1 para cada token correto resulta exatamente em 10.

Documentos longos exigem cuidado. Um modelo com uma janela de contexto fixa avalia o texto em blocos, e os tokens no início de um bloco sem sobreposição quase não têm contexto, o que aumenta a perplexidade. Uma avaliação com janela deslizante faz os blocos se sobreporem para que cada token tenha o máximo de contexto anterior permitido pelo modelo, ao custo de mais computação.

Como comparar modelos de forma justa#

A perplexidade só pode ser comparada entre modelos avaliados com o mesmo texto e a mesma tokenização. Um modelo com vocabulário maior divide o texto em menos tokens, mais difíceis de prever; por isso, a perplexidade por token dele não pode ser comparada diretamente com a de um modelo que usa tokens menores. Normalizar a log-verossimilhança total pelo número de bytes ou caracteres, com o resultado expresso em bits por byte ou bits por caractere, elimina essa dependência.

Os dados de teste também devem estar ausentes dos dados de treinamento. Um modelo que já viu um trecho atribui a ele uma probabilidade excepcionalmente alta, então essa forma de vazamento de dados faz a perplexidade parecer melhor do que o desempenho real. O mesmo efeito está por trás dos ataques de inferência de associação, que identificam textos com perplexidade suspeitamente baixa como prováveis dados de treinamento.

A perplexidade avalia a previsão do próximo token em um texto fixo. Modelos de chat passam por ajuste de instruções e aprendizado por reforço com feedback humano (RLHF) para seguir solicitações e corresponder às preferências humanas, então são comparados usando benchmarks de tarefas e avaliações de preferência humana.

Usos além da comparação de modelos#

A curadoria de dados é uma aplicação importante. O pipeline CCNet, lançado por pesquisadores da Facebook AI em 2019, atribuiu pontuações às páginas do Common Crawl usando um modelo de linguagem treinado com a Wikipédia e as dividiu, por perplexidade, em terços superior, intermediário e inferior. O terço superior, com baixa perplexidade, foi considerado o texto de maior qualidade. Muitos pipelines de pré-treinamento filtram dados da web de forma semelhante, uma etapa de limpeza de dados em escala da web. Detectores de textos gerados por IA, como o GPTZero, também calculam a perplexidade, pois textos amostrados de um modelo de linguagem tendem a ser mais previsíveis do que textos escritos por pessoas.

A fórmula se aplica a qualquer modelo treinado com entropia cruzada. Os modelos de classificação Ultralytics YOLO26 são treinados com perda de entropia cruzada média; assim, exp(perda de validação) é a perplexidade calculada sobre os rótulos de classe verdadeiros. Uma perda de validação de 0.35 corresponde a uma perplexidade de cerca de 1.42, o que significa que, em uma imagem média, o modelo distribui sua confiança como se hesitasse entre aproximadamente 1.4 classes.