Perplexity

A perplexidade é uma métrica de avaliação que mede quão bem um modelo probabilístico prediz uma sequência de tokens. Ela é mais comumente usada na modelagem de linguagem, onde um valor menor significa que a modelo acha o texto avaliado menos surpreendente. Intuitivamente, uma perplexidade de 10 sugere que, a cada etapa de predição, a modelo está tão incerta quanto se estivesse escolhendo entre 10 alternativas igualmente prováveis. Essa interpretação é aproximada, mas torna a métrica mais fácil de entender.

Como Funciona a Perplexidade#

Um modelo de linguagem atribui uma probabilidade a cada próximo token possível com base no contexto precedente. Conforme explicado na introdução aos modelos de linguagem do Google, um modelo autorregressivo prediz repetidamente o próximo token e o adiciona ao contexto.

A perplexidade resume as probabilidades atribuídas aos tokens corretos em uma sequência de avaliação. Ela é derivada da log-verossimilhança negativa média, comumente expressa como entropia cruzada:

• Se a entropia cruzada usa logaritmos naturais, a perplexidade é e elevada à entropia cruzada.
• Se a entropia cruzada usa logaritmos de base 2, a perplexidade é 2 elevada à entropia cruzada.

O Glossário de Machine Learning do Google fornece uma interpretação relacionada: a perplexidade aproxima o número de palpites que um modelo precisaria para incluir a predição correta. As bibliotecas também podem calculá-la diretamente, conforme mostrado pela API de perplexidade de modelos de linguagem do NLTK.

Este exemplo mínimo em Python calcula a perplexidade a partir das probabilidades atribuídas a quatro tokens corretos:

import math

# Probability assigned to the correct token at each position
token_probabilities = [0.50, 0.25, 0.80, 0.40]

negative_log_probs = [-math.log(probability) for probability in token_probabilities]
cross_entropy = sum(negative_log_probs) / len(negative_log_probs)
perplexity = math.exp(cross_entropy)

print(f"Cross-entropy: {cross_entropy:.3f}")
print(f"Perplexity: {perplexity:.3f}")

The calculation uses Python's documented math.exp exponential function. In model training code, frameworks such as PyTorch's cross-entropy loss usually calculate the average loss before it is exponentiated.

Como Interpretar a Perplexidade#

Uma perplexidade menor geralmente indica que um modelo atribui probabilidades mais altas aos tokens observados. No entanto, o número só tem significado dentro de uma comparação controlada.

Suponha que o Modelo A tenha uma perplexidade de 20 e o Modelo B tenha uma perplexidade de 30 nos mesmos dados de validação. O Modelo A prediz esse conjunto de dados de forma mais eficaz. Ele não produz necessariamente respostas mais factuais, úteis, seguras ou legíveis.

A perplexidade também difere de vários conceitos relacionados:

• Função de perda: A entropia cruzada é a perda subjacente de treinamento ou avaliação, enquanto a perplexidade é sua representação exponenciada e mais intuitiva.
• Acurácia: A acurácia verifica se uma predição selecionada está correta. A perplexidade avalia toda a distribuição de probabilidade preditiva, incluindo quanta probabilidade o modelo atribui às alternativas.
• Confiança: A confiança geralmente descreve a certeza de uma predição. A perplexidade agrega a incerteza preditiva em muitas posições da sequência.
• Qualidade de geração: Um modelo de baixa perplexidade pode produzir texto fluente, mas repetitivo, incorreto ou pouco útil. A perplexidade não mede diretamente a factualidade ou o raciocínio.

Aplicações no mundo real#

• Texto preditivo e geração de sequências: Os desenvolvedores podem comparar modelos de linguagem para sugestões de teclado, transcrição ou preenchimento automático usando texto mantido fora do domínio pretendido. Por exemplo, um modelo com menor perplexidade em terminologia médica pode fornecer melhores predições do próximo token em ditado clínico. A métrica pode ajudar a selecionar um modelo antes que a latência e a aceitação do usuário sejam avaliadas separadamente.

• Legenda de imagens com atenção visual: Um sistema de legendagem de imagens frequentemente usa um codificador visual seguido por um decodificador de linguagem. A perplexidade pode medir quão bem o decodificador prediz os tokens de legenda de referência dados os recursos da imagem. Isso é relevante para modelos de visão-linguagem, embora a baixa perplexidade por si só não possa determinar se uma legenda identifica corretamente cada objeto ou evita detalhes alucinados.

A avaliação baseada em probabilidade também pode dar suporte a diagnósticos especializados. A orientação de avaliação de log-probabilidade da NVIDIA explica como as probabilidades de tokens podem ser agregadas em métricas como a perplexidade sem exigir geração de formato livre.

Limitações e Melhores Práticas#

Os valores de perplexidade não devem ser comparados quando os modelos usam esquemas de tokenização diferentes. Um modelo em nível de palavra, um modelo em nível de caractere e um grande modelo de linguagem baseado em subpalavras dividem a mesma frase de maneira diferente, alterando o número e a dificuldade das etapas de predição.

Os conjuntos de dados de avaliação também devem corresponder ao domínio de destino. Um modelo pode alcançar baixa perplexidade em artigos de notícias, mas ter um desempenho ruim em código-fonte ou conversas de suporte técnico. Siga as diretrizes de qualidade de machine learning estabelecidas usando dados de avaliação separados e representativos e pré-processamento consistente.

Em sistemas multimodais e de visão computacional, emparelhe a perplexidade com medidas específicas de tarefas. O guia da Ultralytics sobre avaliação e ajuste fino de modelos cobre métricas como precisão, revocação e precisão média média para predições visuais. Juntas, as métricas de linguagem e visão fornecem uma avaliação mais completa do que a perplexidade isoladamente.