Hallucination (in LLMs)

No âmbito da Inteligência Artificial (IA), uma alucinação refere-se a um fenómeno onde um Large Language Model (LLM) gera conteúdo que é confiante e sintaticamente correto, mas factualmente impreciso, sem sentido ou infiel aos dados de entrada. Ao contrário dos erros de software comuns que podem produzir uma falha ou um erro visível, um modelo a alucinar comporta-se como um fabulador convincente, apresentando informações falsas com a mesma autoridade que factos válidos. Isto coloca desafios significativos para as organizações que implementam Generative AI em áreas sensíveis como a saúde, o direito e as finanças, onde a integridade dos dados é fundamental.

Link to this sectionPorque é que ocorrem as alucinações?#

Para compreender porque é que os modelos alucinam, é útil observar como são construídos. Os LLMs baseiam-se tipicamente na arquitetura Transformer, que funciona como um motor de predição sofisticado. Em vez de consultar uma base de dados estruturada de factos verificados, o modelo prevê o próximo token numa sequência com base em probabilidades estatísticas derivadas dos seus training data.

Vários fatores impulsionam este comportamento:

• Adivinhação Probabilística: O modelo prioriza a fluência e a coerência em detrimento da verdade factual. Se uma sequência específica de palavras for estatisticamente provável — mesmo que factualmente errada — o modelo pode gerá-la. Este conceito é frequentemente discutido na investigação relativa a stochastic parrots, onde os modelos imitam padrões de linguagem sem compreender o significado.
• Problemas de Qualidade de Dados: Se o enorme corpus de texto utilizado para o treino contiver contradições, informações desatualizadas ou ficção, o modelo pode reproduzir essas imprecisões.
• Amnésia de Fonte: Os LLMs comprimem vastas quantidades de informação em model weights. Neste processo, perdem frequentemente a ligação a fontes específicas, levando à "confabulação", onde conceitos ou eventos distintos são fundidos incorretamente.

Link to this sectionExemplos reais de alucinação#

As alucinações podem manifestar-se de várias formas, desde embelezamentos criativos inofensivos até erros factuais graves:

• Fabulação Jurídica: Existem casos documentados em que profissionais do setor jurídico utilizaram IA para redigir peças processuais, apenas para descobrir que o modelo tinha inventado processos judiciais inexistentes e citações para apoiar um argumento.
• Geração de Código: Os programadores que utilizam assistentes de IA podem encontrar "alucinações de pacotes", onde o modelo sugere importar uma biblioteca de software ou chamar uma função que na verdade não existe, simplesmente porque o nome segue as convenções de nomenclatura padrão.
• Erros Biográficos: Quando questionados sobre indivíduos menos famosos, os modelos podem atribuir-lhes com confiança feitos, locais de nascimento ou histórias profissionais incorretas, misturando efetivamente detalhes de várias pessoas.

Link to this sectionEstratégias de Mitigação#

Reduzir a frequência das alucinações é um foco principal da AI Safety. Engenheiros e investigadores empregam várias técnicas para ancorar os modelos na realidade:

• Retrieval-Augmented Generation (RAG): Este método liga o LLM a uma base de conhecimento externa e fidedigna, frequentemente indexada numa vector database. Ao recuperar documentos relevantes antes de gerar uma resposta, o modelo é limitado por dados reais.
• Chain-of-Thought Prompting: Esta técnica de prompt engineering encoraja o modelo a "mostrar o seu trabalho", decompondo o raciocínio complexo em passos intermédios, o que frequentemente reduz erros de lógica.
• Reinforcement Learning from Human Feedback (RLHF): Durante a fase de fine-tuning, avaliadores humanos classificam as respostas do modelo. Ao penalizar alucinações e recompensar a veracidade, o modelo aprende a alinhar-se melhor com as expectativas humanas.

Link to this sectionAncorar LLMs com Visão Computacional#

Em sistemas de Multimodal AI, a geração de texto pode ser ancorada utilizando dados visuais. Se um LLM for solicitado a descrever uma cena, pode alucinar objetos que não estão lá. Ao integrar um detetor de objetos de alta precisão como o YOLO26, os programadores podem fornecer uma lista factual de objetos presentes ao LLM, limitando estritamente a sua saída a deteções verificadas.

O seguinte exemplo em Python mostra como utilizar o pacote ultralytics para extrair uma lista verificada de objetos, que pode então servir como uma restrição factual para um prompt de modelo de linguagem.

from ultralytics import YOLO

# Load the YOLO26n model (latest generation, efficient and accurate)
model = YOLO("yolo26n.pt")

# Run inference on an image to get ground-truth detections
results = model("https://ultralytics.com/images/bus.jpg")

# Extract the class names of actually detected objects
detected_objects = [model.names[int(c)] for c in results[0].boxes.cls]

# This factual list prevents the LLM from hallucinating items
print(f"Verified Objects for Prompt Context: {detected_objects}")
# Output example: ['bus', 'person', 'person', 'person', 'person']

Link to this sectionDiferenciando Conceitos Relacionados#

É importante distinguir as alucinações de outros erros comuns de IA:

• Vs. Bias in AI: O viés refere-se a preconceito sistemático nas saídas (ex.: favorecer um grupo demográfico em detrimento de outro), enquanto a alucinação é uma falha de precisão factual. Uma resposta pode não ter viés, mas ainda assim ser uma alucinação (ex.: "A lua é feita de queijo").
• Vs. Overfitting: O overfitting ocorre quando um modelo memoriza os dados de treino demasiado bem e não consegue generalizar para novas entradas. As alucinações ocorrem frequentemente quando um modelo tenta generalizar demasiado em áreas onde lhe faltam dados.
• Vs. Classificação Incorreta: Em object detection, rotular um carro como um camião é um erro de classificação (problema de precisão), não uma alucinação. A alucinação é específica da criação generativa de conteúdo falso.

Para quem procura gerir conjuntos de dados e treinar modelos com elevada integridade de dados para evitar erros a jusante, a Ultralytics Platform oferece ferramentas abrangentes para anotação e gestão de conjuntos de dados. Além disso, as orientações do NIST AI Risk Management Framework fornecem normas para avaliar e mitigar estes riscos em ambientes de produção.