Hallucination (in LLMs)

No campo da Inteligência Artificial (AI), uma alucinação refere-se a um fenómeno em que um Modelo de Linguagem de Grande Escala (LLM) gera conteúdo confiante e sintaticamente correto, mas factualmente inexato, sem sentido ou infiel ao conteúdo de entrada de origem. Ao contrário dos erros comuns de software, que podem causar uma falha ou um problema visível, um modelo que alucina comporta-se como um falsificador convincente, apresentando informações falsas com a mesma autoridade que factos válidos. Isto cria desafios significativos para as organizações que implementam IA generativa em áreas sensíveis como a saúde, o direito e as finanças, onde a integridade dos dados é fundamental.

Porque ocorrem as alucinações?#

Para compreender porque os modelos alucinam, é útil analisar como são construídos. Os LLMs baseiam-se normalmente na arquitetura Transformer, que funciona como um sofisticado motor de previsão. Em vez de consultar uma base de dados estruturada de factos verificados, o modelo prevê o próximo token numa sequência com base em probabilidades estatísticas derivadas dos seus dados de treino.

Vários fatores impulsionam este comportamento:

• Adivinhação probabilística: O modelo dá prioridade à fluência e à coerência em detrimento da verdade factual. Se uma sequência específica de palavras for estatisticamente provável — mesmo que esteja factualmente errada — o modelo poderá gerá-la. Este conceito é frequentemente abordado em investigação sobre papagaios estocásticos, em que os modelos imitam padrões linguísticos sem compreender o significado.
• Problemas de qualidade dos dados: Se o enorme corpus de texto utilizado no treino contiver contradições, informações desatualizadas ou ficção, o modelo poderá reproduzir essas imprecisões.
• Amnésia da fonte: Os LLMs comprimem grandes quantidades de informação em pesos do modelo. Durante este processo, perdem frequentemente a ligação a fontes específicas, o que conduz à "confabulação", em que conceitos ou acontecimentos distintos são incorretamente fundidos.

Exemplos reais de alucinação#

As alucinações podem manifestar-se de várias formas, desde adornos criativos inofensivos até erros factuais graves:

• Fabricação jurídica: Foram documentados casos em que profissionais do direito utilizaram IA para redigir peças processuais, apenas para descobrirem que o modelo tinha inventado processos judiciais inexistentes e citações para fundamentar um argumento.
• Geração de código: Os programadores que utilizam assistentes de IA podem deparar-se com "alucinações de pacotes", em que o modelo sugere importar uma biblioteca de software ou chamar uma função que, na realidade, não existe, simplesmente porque o nome segue convenções de nomenclatura padrão.
• Erros biográficos: Quando questionados sobre pessoas menos famosas, os modelos podem atribuir-lhes, com confiança, conquistas, locais de nascimento ou percursos profissionais incorretos, misturando efetivamente detalhes de várias pessoas.

Estratégias de mitigação#

Reduzir a frequência das alucinações é um dos principais focos da Segurança da IA. Engenheiros e investigadores utilizam várias técnicas para ancorar os modelos na realidade:

• Geração Aumentada por Recuperação (RAG): Este método liga o LLM a uma base de conhecimento externa e fiável, frequentemente indexada numa base de dados vetorial. Ao recuperar documentos relevantes antes de gerar uma resposta, o modelo fica condicionado por dados reais.
• Solicitação de cadeia de pensamento: Esta técnica de engenharia de prompts incentiva o modelo a "mostrar o seu raciocínio", decompondo o raciocínio complexo em etapas intermédias, o que frequentemente reduz os erros lógicos.
• Aprendizagem por Reforço com Feedback Humano (RLHF): Durante a fase de ajuste fino, avaliadores humanos classificam as respostas do modelo. Ao penalizar as alucinações e recompensar a veracidade, o modelo aprende a alinhar-se melhor com as expectativas humanas.

Ancorar LLMs com Visão Computacional#

Em sistemas de IA multimodal, a geração de texto pode ser ancorada através de dados visuais. Se for pedido a um LLM que descreva uma cena, poderá alucinar objetos que não estão presentes. Ao integrar um detetor de objetos de alta precisão, como o YOLO26, os programadores podem fornecer ao LLM uma lista factual dos objetos presentes, limitando rigorosamente a sua saída às deteções verificadas.

O exemplo seguinte em Python mostra como utilizar o pacote ultralytics para extrair uma lista verificada de objetos, que pode depois servir como restrição factual para um prompt de um modelo de linguagem.

from ultralytics import YOLO

# Load the YOLO26n model (latest generation, efficient and accurate)
model = YOLO("yolo26n.pt")

# Run inference on an image to get ground-truth detections
results = model("https://ultralytics.com/images/bus.jpg")

# Extract the class names of actually detected objects
detected_objects = [model.names[int(c)] for c in results[0].boxes.cls]

# This factual list prevents the LLM from hallucinating items
print(f"Verified Objects for Prompt Context: {detected_objects}")
# Output example: ['bus', 'person', 'person', 'person', 'person']

Diferenciação de conceitos relacionados#

É importante distinguir as alucinações de outros erros comuns de IA:

• Em comparação com Viés na IA: O viés refere-se a um preconceito sistemático nas saídas (por exemplo, favorecer um grupo demográfico em detrimento de outro), enquanto a alucinação é uma falha de precisão factual. Uma resposta pode ser imparcial e, ainda assim, ser uma alucinação (por exemplo, "A Lua é feita de queijo").
• Em comparação com Sobreajuste: O sobreajuste ocorre quando um modelo memoriza os dados de treino de forma demasiado exata e não consegue generalizar para novas entradas. As alucinações ocorrem frequentemente quando um modelo tenta generalizar demasiado para áreas onde não dispõe de dados.
• Em comparação com a classificação incorreta: Na deteção de objetos, identificar um carro como um camião é um erro de classificação (um problema de precisão), não uma alucinação. A alucinação é específica da criação generativa de conteúdo falso.

Para quem pretende gerir conjuntos de dados e treinar modelos com elevada integridade dos dados, de modo a evitar erros posteriores, a Plataforma Ultralytics oferece ferramentas abrangentes para anotação e gestão de conjuntos de dados. Além disso, as orientações do Framework de Gestão de Riscos de IA do NIST fornecem normas para avaliar e mitigar estes riscos em ambientes de produção.