Jagged Intelligence

Inteligência irregular descreve o perfil de capacidades desigual dos sistemas modernos de IA: o mesmo modelo pode ter desempenho de especialista em tarefas difíceis e falhar em tarefas simples que a maioria das pessoas considera triviais. Andrej Karpathy cunhou o termo em 2024 para descrever modelos de linguagem grandes (LLMs) capazes de resolver problemas matemáticos difíceis, mas que ainda insistiam que 9.11 é maior que 9.9. Errar a contagem da letra "r" em "strawberry" tornou-se outro exemplo famoso. Quando representada em um gráfico por tarefa, a competência desse tipo de modelo forma uma linha irregular, com picos acentuados e vales profundos, e é difícil prever a localização dos vales a partir dos picos.

Porque são desiguais as capacidades#

Um modelo tem melhor desempenho quando seus dados de treinamento são abundantes e sua representação interna se ajusta à tarefa, e ambas as condições variam muito de uma tarefa para outra. As representações explicam muitas das falhas famosas com texto. A tokenização divide o texto em tokens de subpalavras antes de o modelo recebê-lo, como mostra o tokenizador da OpenAI para o GPT-4o:

import tiktoken

# o200k_base é o tokenizador usado pelo GPT-4o da OpenAI
encoding = tiktoken.get_encoding("o200k_base")

for question in ["How many r letters are in strawberry?", "Which is bigger, 9.11 or 9.9?"]:
    tokens = [encoding.decode([t]) for t in encoding.encode(question)]
    print(tokens)

A palavra " strawberry" chega como um único token, então o modelo nunca vê seus três r's e precisa recuperar a grafia a partir do texto de treinamento. Os números chegam como "9", ".", "11" e "9", ".", "9"; em grande parte desse texto, pares desse tipo são números de versão, datas ou capítulos de livros, nos quais 9.11 vem depois de 9.9 e 11 é maior que 9. O modelo responde com base nesses padrões, em vez de fazer uma comparação numérica.

A cobertura dos dados explica boa parte do restante. Habilidades que aparecem com frequência nos dados de treinamento tornam-se confiáveis, enquanto formatos raros, formulações incomuns e casos extremos continuam frágeis, por mais simples que pareçam para uma pessoa. Modelos de visão exibem o mesmo padrão. Um modelo de detecção de objetos pode ter excelente desempenho com objetos comuns e grandes durante o dia e ser muito pior com objetos pequenos, classes raras ou pontos de vista incomuns, mesmo quando uma pessoa consideraria todos igualmente fáceis.

A irregularidade é diferente do paradoxo de Moravec, observação feita por Hans Moravec em 1988 de que tarefas difíceis para as pessoas, como xadrez, são fáceis para os computadores, enquanto habilidades humanas naturais, como percepção e movimento, são difíceis. As capacidades irregulares não acompanham a dificuldade humana em nenhuma direção, então a intuição sobre o que é "fácil" é um guia fraco para onde um modelo vai falhar.

A fronteira irregular em ação#

A mesma irregularidade afeta a forma como as pessoas trabalham com IA. Em um experimento de campo de 2023 com 758 consultores do Boston Consulting Group, pesquisadores da Harvard Business School e de outras instituições descreveram uma fronteira tecnológica irregular. Nas 18 tarefas dentro dessa fronteira, os consultores que usaram o GPT-4 concluíram 12,2% mais tarefas, trabalharam 25,1% mais rápido e produziram trabalhos cuja qualidade foi avaliada como mais de 40% superior. Em uma tarefa logo além da fronteira, os consultores com IA tiveram uma probabilidade 19 pontos percentuais menor de chegar à resposta correta do que aqueles que trabalharam sem ela. Inteligência irregular é o nome dado ao perfil de capacidades desiguais do modelo, e fronteira irregular é o nome da divisão resultante entre o trabalho que a IA ajuda a fazer e aquele que ela silenciosamente piora.

A irregularidade também complica as afirmações sobre inteligência artificial geral (AGI). Uma pontuação média calculada em um conjunto de dados de benchmark amplo pode subir de maneira constante enquanto vales específicos permanecem, então uma média de destaque diz pouco sobre a confiabilidade de um modelo em qualquer tarefa específica.

Medir um perfil irregular#

As capacidades desiguais ficam visíveis quando a avaliação é dividida em partes, em vez de ser apresentada como um único número. Para um detector, a primeira divisão é por classe. O modo Validation do Ultralytics YOLO26 informa a precisão média média (mAP) geral e por classe nos rótulos de validação. Ordenar as métricas por classe coloca os vales em primeiro lugar:

from ultralytics import YOLO

# Validate a pretrained detector on labeled images
model = YOLO("yolo26n.pt")
metrics = model.val(data="coco8.yaml")

# One row per class in the validation labels, weakest first
rows = sorted(metrics.summary(), key=lambda row: row["mAP50-95"])
print(f"Overall mAP50-95: {metrics.box.map:.3f}")
for row in rows[:3]:
    print(f"{row['Class']}: {row['mAP50-95']} mAP50-95 over {row['Instances']} instances")

Em um conjunto de validação completo, como as 5.000 imagens do COCO, a mesma análise aponta as classes que precisam de mais dados ou de uma revisão mais cuidadosa dos rótulos. As classes são apenas a primeira divisão. Iluminação, ângulo da câmera, movimento e oclusão podem esconder seus próprios vales, e o teste do modelo com novas imagens obtidas nessas condições os revela:

Após a implantação, o perfil continua mudando à medida que as entradas se alteram, e o acompanhamento da deriva de dados mostra quando as imagens de produção começam a cair em regiões não cobertas pelo conjunto de validação.