Shortcut Learning

O aprendizado por atalhos ocorre quando um modelo resolve sua tarefa de treinamento usando um sinal simples que prevê o rótulo nos dados de treinamento, mas não tem relação com o conceito que deveria aprender. O modelo obtém bons resultados em qualquer conjunto de teste que compartilhe esse sinal e falha quando ele desaparece. Robert Geirhos e colegas caracterizaram o problema em Shortcut Learning in Deep Neural Networks, uma perspectiva de 2020 da Nature Machine Intelligence, definindo atalhos como regras de decisão que têm bom desempenho em benchmarks padrão, mas não se transferem para condições mais desafiadoras, como o uso no mundo real. A analogia clássica é Clever Hans, o cavalo que parecia fazer cálculos, mas lia a linguagem corporal de seu treinador.

Atalhos em modelos publicados#

Atalhos foram encontrados em muitos modelos publicados:

• Assinaturas de hospitais em imagens médicas: Em um estudo de 2018, John Zech e colegas constataram que classificadores de pneumonia treinados com radiografias torácicas de vários sistemas hospitalares conseguiam identificar de qual hospital vinha uma imagem. Como as taxas de doenças diferiam entre os hospitais, essa informação de origem ajudava a prever o diagnóstico. O desempenho costumava ser menor em hospitais que não faziam parte dos dados de treinamento, um risco recorrente da IA em radiologia.
• Radiografias de COVID-19: Uma análise de 2021 feita por Alex DeGrave e colegas constatou que detectores de COVID-19 se baseavam em marcadores de texto, no posicionamento dos pacientes e nas diferenças entre fontes de dados, em vez de achados pulmonares, e perdiam grande parte da precisão com dados de novos hospitais.
• Planos de fundo em fotos de armadilhas fotográficas: O estudo de 2018 "Recognition in Terra Incognita", de Sara Beery e colegas, mostrou que modelos de classificação de imagens associavam animais aos locais e planos de fundo onde eram fotografados. Com isso, a precisão caía em novos locais de câmeras, um problema conhecido da IA na conservação da vida selvagem. O artigo começa com a imagem de uma vaca numa praia que um classificador comercial de imagens não conseguiu reconhecer, enquanto vacas em pastagens alpinas eram rotuladas corretamente.
• Textura em vez de forma: Redes neurais convolucionais treinadas com o ImageNet classificaram como elefante uma imagem com o formato de um gato e a textura da pele de um elefante, como Geirhos e colegas demonstraram em 2019.

Por que a validação padrão não detecta o problema#

Uma divisão aleatória entre treinamento e validação copia o atalho para as duas partes, então a precisão nos dados de validação parece excelente. A falha só aparece em dados coletados de outra forma: de um novo local, uma nova câmera, um novo hospital, outra estação do ano ou outro período.

É isso que distingue a aprendizagem por atalhos de problemas relacionados:

• Sobreajuste: Memorizar o ruído específico dos dados de treinamento, o que aparece como uma diferença entre as pontuações de treinamento e validação. Um atalho pode generalizar perfeitamente para um conjunto de validação extraído da mesma fonte.
• Vazamento de dados: Informações que não estarão disponíveis no momento da previsão acabam incluídas nos atributos ou nas divisões. O vazamento é uma forma específica e muitas vezes acidental de um atalho entrar em um conjunto de dados.
• Viés do conjunto de dados: O desequilíbrio nos dados coletados, por exemplo, quando todos os exemplos positivos vêm de um único scanner, oferece ao atalho algo em que se apoiar.

Algumas linhas de scikit-learn reproduzem a falha usando uma regressão logística com dois atributos: um sinal genuíno fraco e um atalho que acompanha o rótulo quase perfeitamente nos dados de treinamento.

import numpy as np
from sklearn.linear_model import LogisticRegression

rng = np.random.default_rng(0)
labels = rng.integers(0, 2, 2000)

# A weak genuine signal and a shortcut that tracks the label almost perfectly
signal = labels + rng.normal(0, 1.0, labels.size)
shortcut = labels + rng.normal(0, 0.1, labels.size)

model = LogisticRegression()
model.fit(np.column_stack([signal, shortcut]), labels)

# At deployment the shortcut no longer carries any label information
shifted = rng.permutation(shortcut)
print(f"In-distribution accuracy: {model.score(np.column_stack([signal, shortcut]), labels):.2f}")
print(f"Shifted accuracy: {model.score(np.column_stack([signal, shifted]), labels):.2f}")

A precisão cai de 1,00 para 0,52 quando o atalho é embaralhado. O sinal genuíno, sozinho, sustenta uma precisão de cerca de 70%, mas o modelo atribuiu ao atalho um coeficiente cerca de 18 vezes maior que o do sinal e, por isso, quase não aprendeu com o sinal mais difícil.

Como encontrar e remover atalhos#

O teste mais confiável avalia dados que o atalho não consegue acompanhar: locais, câmeras ou períodos inteiros excluídos do treinamento, em vez de imagens escolhidas aleatoriamente. Uma grande diferença entre essa pontuação e a pontuação na distribuição aponta para sinais de fundo, iluminação ou sensores. A exploração de dados identifica possíveis problemas antes do treinamento. O painel Clustering da Ultralytics Platform posiciona imagens visualmente semelhantes próximas umas das outras em um mapa 2D e colore-as por classe, divisão ou largura e altura da imagem. Assim, uma classe que forma sua própria ilha porque suas imagens vieram de uma única câmera fica evidente antes que um modelo YOLO26 aprenda a câmera em vez do objeto.

Edições contrafactuais testam diretamente um sinal suspeito. Trocar o plano de fundo, remover uma sobreposição ou cortar um marcador mantém inalterada uma previsão correta e inverte uma previsão baseada em atalhos. Métodos de atribuição de IA explicável (XAI), como mapas de saliência, mostram quais pixels influenciam uma previsão. No estudo sobre COVID-19, eles destacaram as bordas das imagens e o texto, em vez dos pulmões.

Corrigir um atalho geralmente significa alterar os dados. Coletar exemplos em que o sinal e o rótulo discordam, como peças defeituosas fotografadas em todas as bandejas e planos de fundo, quebra a correlação. A ampliação de dados que varia cor, escala e posicionamento enfraquece os sinais ligados a essas propriedades, e a randomização de domínio faz o mesmo com imagens sintéticas ao randomizar texturas, iluminação e planos de fundo. Quando se conhecem os grupos que carregam um atalho, a otimização robusta à distribuição por grupo minimiza a perda do grupo com pior desempenho, em vez da perda média.