Hallucination (in LLMs)

No domínio da Inteligência Artificial (IA), uma alucinação refere-se a um fenômeno em que um Large Language Model (LLM) gera conteúdo confiante e sintaticamente correto, mas factualmente impreciso, sem sentido ou infiel à entrada de origem. Ao contrário de erros de software padrão que podem produzir uma falha ou um problema visível, um modelo que alucina comporta-se como um fabulador convincente, apresentando informações falsas com a mesma autoridade que fatos válidos. Isso representa desafios significativos para organizações que implantam Generative AI em áreas sensíveis como saúde, direito e finanças, onde a integridade dos dados é primordial.

Porque é que ocorrem as alucinações?#

Para entender por que os modelos alucinam, é útil examinar como eles são construídos. Os LLMs são tipicamente baseados na arquitetura Transformer, que funciona como um motor de previsão sofisticado. Em vez de consultar um banco de dados estruturado de fatos verificados, o modelo prevê o próximo token em uma sequência com base em probabilidades estatísticas derivadas de seus training data.

Vários fatores impulsionam este comportamento:

• Palpites Probabilísticos: O modelo prioriza a fluência e a coerência em detrimento da verdade factual. Se uma sequência específica de palavras for estatisticamente provável — mesmo que esteja factualmente errada —, o modelo poderá gerá-la. Esse conceito é frequentemente discutido em pesquisas sobre stochastic parrots, onde os modelos imitam padrões de linguagem sem compreender o significado.
• Problemas de Qualidade de Dados: Se o enorme corpus de texto utilizado para o treino contiver contradições, informações desatualizadas ou ficção, o modelo pode reproduzir essas imprecisões.
• Amnésia de Origem: Os LLMs comprimem vastas quantidades de informação em model weights. Nesse processo, eles frequentemente perdem o vínculo com fontes específicas, levando a "confabulações", onde conceitos ou eventos distintos são mesclados incorretamente.

Exemplos reais de alucinação#

As alucinações podem manifestar-se de várias formas, desde embelezamentos criativos inofensivos até erros factuais graves:

• Fabricação Legal: Houve instâncias documentadas em que profissionais jurídicos usaram IA para redigir petições, apenas para descobrir que o modelo havia inventado non-existent court cases e citações para apoiar um argumento.
• Geração de Código: Os programadores que utilizam assistentes de IA podem encontrar "alucinações de pacotes", onde o modelo sugere importar uma biblioteca de software ou chamar uma função que na verdade não existe, simplesmente porque o nome segue as convenções de nomenclatura padrão.
• Erros Biográficos: Quando questionados sobre indivíduos menos famosos, os modelos podem atribuir-lhes com confiança feitos, locais de nascimento ou histórias profissionais incorretas, misturando efetivamente detalhes de várias pessoas.

Estratégias de Mitigação#

Reduzir a frequência de alucinações é um foco principal da AI Safety. Engenheiros e pesquisadores empregam várias técnicas para ancorar os modelos na realidade:

• Geração Aumentada por Recuperação (RAG): Este método conecta o LLM a uma base de conhecimento externa e confiável, frequentemente indexada em um vector database. Ao recuperar documentos relevantes antes de gerar uma resposta, o modelo é limitado por dados reais.
• Prompting de Cadeia de Pensamento (Chain-of-Thought): Esta técnica de prompt engineering incentiva o modelo a "mostrar seu trabalho", dividindo o raciocínio complexo em etapas intermediárias, o que frequentemente reduz erros de lógica.
• Reinforcement Learning from Human Feedback (RLHF): Durante a fase de fine-tuning, avaliadores humanos classificam as respostas do modelo. Ao penalizar alucinações e recompensar a veracidade, o modelo aprende a alinhar-se melhor com as expectativas humanas.

Ancorar LLMs com Visão Computacional#

Em sistemas de Multimodal AI, a geração de texto pode ser ancorada usando dados visuais. Se um LLM for solicitado a descrever uma cena, ele poderá alucinar objetos que não estão lá. Ao integrar um detector de objetos de alta precisão como o YOLO26, os desenvolvedores podem fornecer uma lista factual de objetos presentes para o LLM, limitando estritamente sua saída a detecções verificadas.

O exemplo em Python a seguir mostra como usar o pacote ultralytics para extrair uma lista verificada de objetos, que pode então servir como uma restrição factual para o prompt de um modelo de linguagem.

from ultralytics import YOLO

# Load the YOLO26n model (latest generation, efficient and accurate)
model = YOLO("yolo26n.pt")

# Run inference on an image to get ground-truth detections
results = model("https://ultralytics.com/images/bus.jpg")

# Extract the class names of actually detected objects
detected_objects = [model.names[int(c)] for c in results[0].boxes.cls]

# This factual list prevents the LLM from hallucinating items
print(f"Verified Objects for Prompt Context: {detected_objects}")
# Output example: ['bus', 'person', 'person', 'person', 'person']

Diferenciando Conceitos Relacionados#

É importante distinguir as alucinações de outros erros comuns de IA:

• Vs. Bias in AI: Viés refere-se ao preconceito sistemático nas saídas (por exemplo, favorecer um grupo demográfico em detrimento de outro), enquanto a alucinação é uma falha na precisão factual. Uma resposta pode ser imparcial e ainda assim alucinada (por exemplo, "A lua é feita de queijo").
• Vs. Overfitting: Overfitting ocorre quando um modelo memoriza os dados de treinamento de perto demais e não consegue generalizar para novas entradas. As alucinações frequentemente acontecem quando um modelo tenta generalizar demais para áreas onde faltam dados.
• Vs. Erro de classificação: Em object detection, rotular um carro como um caminhão é um erro de classificação (problema de precisão), e não uma alucinação. A alucinação é específica da criação gerativa de conteúdo falso.

Para aqueles que procuram gerenciar conjuntos de dados e treinar modelos com alta integridade de dados para evitar erros posteriores, a Ultralytics Platform oferece ferramentas abrangentes para anotação e gerenciamento de conjuntos de dados. Além disso, as orientações do NIST AI Risk Management Framework fornecem padrões para avaliar e mitigar esses riscos em ambientes de produção.