Alucinação (em LLMs)

No contexto de modelos linguísticos de grande dimensão (LLMs)uma alucinação ocorre quando um modelo generativo produz um conteúdo que é confiante e sintaticamente fluente mas mas factualmente incorreto, sem sentido ou infiel ao material de origem. Ao contrário dos erros normais de recuperação de bases de dados, as alucinações na IA generativa são são muitas vezes plausíveis, o que torna difícil a sua detect pelos utilizadores sem uma verificação independente. Este fenómeno Este fenómeno resulta da conceção fundamental destes modelos, que dão prioridade geração de texto baseada na probabilidade estatística em vez da validação da verdade. Compreender as alucinações é fundamental para a implementação de sistemas seguros de IA seguros, especialmente em sectores de alto risco como os cuidados de saúde, as finanças e os serviços jurídicos.

Porque é que os LLMs alucinam

A causa principal da alucinação reside na Transformador e nos objectivos de formação utilizados para construir modelos de base. Estes sistemas são treinados para prever o próximo ficha numa sequência com base em padrões aprendidos a partir de grandes quantidades de dados de treino. Não possuem um conceito inerente de "facto" ou "ficção"; em vez disso, modelam a probabilidade de as palavras aparecerem juntas.

Vários factores contribuem para este comportamento:

• Limitações dos dados: Se o corpus de treino contiver informações contraditórias, desactualizadas ou incorrectas, o modelo pode reproduzir esses erros. Este facto é frequentemente discutido na investigação sobre papagaios estocásticosem que os modelos imitam formas linguísticas sem compreender o seu significado.
• Artefactos de compressão: Os LLMs comprimem o conhecimento da Internet num conjunto fixo de parâmetros. Durante esta compressão, podem perder-se nuances, levando à fusão de conceitos distintos.
• Ambiguidade de inferência: Quando um modelo se depara com um pedido fora da sua distribuição de conhecimento, pode gerar a resposta estatisticamente mais provável em vez de admitir a sua ignorância, um comportamento frequentemente designado por "confabulação".

Exemplos Reais de Alucinações

As alucinações podem manifestar-se de várias formas, desde imprecisões subtis a fabricações completas:

• Fabricação de casos jurídicos: Num incidente amplamente divulgado, um profissional da área jurídica usou um LLM para para realizar pesquisas de casos. O modelo gerou um resumo legal citando vários processos judiciais inexistentes com citações e pareceres judiciais inventados, dando origem a sanções.
• Invenção da biblioteca de codificação: Os programadores que utilizam assistentes de codificação com IA deparam-se por vezes com recomendações para bibliotecas de software ou métodos API que não existem de facto. O modelo alucina com um nome de função plausível (por exemplo, ultralytics.detect_everything()) com base em convenções de nomenclatura padrão que viu nos seus dados de treino, mesmo que essa função específica nunca tenha sido implementada.

Estratégias de Mitigação

A redução das alucinações é um dos principais objectivos da segurança da IA da IA. Atualmente, são utilizadas várias técnicas são atualmente utilizadas para fundamentar os modelos na realidade:

• Geração Aumentada por Recuperação (RAG): Este método liga o LLM a uma base de conhecimentos externa fiável externo de confiança, como uma base de dados vetorial. Em vez de depender apenas da memória interna, o modelo recupera documentos relevantes antes de gerar uma resposta. Pode ler mais sobre como o RAG melhora a precisão nas aplicações empresariais.
• Engenharia rápida: Técnicas como Prompting de cadeia de pensamento encorajam o modelo a explicar o seu raciocínio passo a passo, o que tem demonstrado reduzir os erros lógicos e melhorar a consistência factual.
• Aprendizagem por reforço a partir do feedback humano (RLHF): Os programadores utilizam Aprendizagem por reforço a partir de feedback humano (RLHF) para penalizar o modelo por alucinações durante a fase de ajuste fino, alinhando os seus resultados com as preferências humanas para a veracidade.
• Ligação à terra multimodal: Nas tarefas de visão-linguagem, as alucinações podem ser reduzidas através da verificação do texto texto em relação a dados estruturados de modelos de Visão por Computador (CV) modelos.

Fundamentar os LLMs com a visão computacional

Uma forma eficaz de atenuar as alucinações em fluxos de trabalho multimodais é utilizar um deteção de objectos de alta precisão para verificar o conteúdo físico de uma imagem antes de um LLM a descrever. Ao introduzir uma lista verificada de objectos no contexto da LLM impede-o de inventar elementos que não estão lá.

O exemplo seguinte demonstra como utilizar Ultralytics YOLO11 para gerar uma uma lista de objectos de verdade, que pode então servir como uma restrição factual para um modelo generativo.

from ultralytics import YOLO

# Load the official YOLO11 model
model = YOLO("yolo11n.pt")

# Run inference on an image to get factual data
results = model("https://ultralytics.com/images/bus.jpg")

# Extract the class names of detected objects to ground the LLM
detected_objects = [model.names[int(c)] for c in results[0].boxes.cls]

# This list prevents the LLM from hallucinating objects not present
print(f"Verified Objects: {detected_objects}")
# Output: Verified Objects: ['bus', 'person', 'person', 'person', 'person']

Alucinação vs. outra terminologia

É importante distinguir as alucinações de outros tipos de erros de IA:

• vs. Preconceito: Preconceito em IA refere-se a preconceitos sistemáticos preconceito sistemático no resultado (por exemplo, estereótipos), enquanto que a alucinação se refere à incorreção factual. Uma afirmação pode ser imparcial mas alucinada, ou factual mas tendenciosa.
• vs. Erros de exatidão: Em tarefas de classificação, uma previsão errada (como rotular um cão como um gato) é um erro de precisão, não uma alucinação. A alucinação é específica para a generativo processo de criação de novos conteúdo.
• vs. Sobreajuste: Enquanto sobreajuste envolve a memorização dados de treino demasiado próximos, as alucinações ocorrem frequentemente quando o modelo tenta generalizar para além dos seus dados de treino e falha.

Para mais leituras sobre a avaliação de modelos generativos, explorar a Quadro de gestão de riscos de IA do NIST fornece uma visão abrangente das normas de fiabilidade e segurança. Além disso, os investigadores continuam a desenvolver algoritmos de verificação de factos para detect e assinalar automaticamente conteúdos alucinatórios em tempo real.