Hallucination (in LLMs)

En el ámbito de la Inteligencia Artificial (IA), una alucinación se refiere a un fenómeno donde un Large Language Model (LLM) genera contenido que es convincente y sintácticamente correcto, pero factualmente inexacto, sin sentido o infiel a la entrada de origen. A diferencia de los errores de software estándar que pueden producir un bloqueo o un fallo visible, un modelo que alucina se comporta como un fabricante convincente, presentando información falsa con la misma autoridad que los hechos válidos. Esto plantea desafíos significativos para las organizaciones que despliegan Generative AI en campos sensibles como la sanidad, el derecho y las finanzas, donde la integridad de los datos es primordial.

Link to this section¿Por qué ocurren las alucinaciones?#

Para entender por qué alucinan los modelos, resulta útil observar cómo están construidos. Los LLM se basan normalmente en la arquitectura Transformer, que funciona como un motor de predicción sofisticado. En lugar de consultar una base de datos estructurada de hechos verificados, el modelo predice el siguiente token en una secuencia basándose en probabilidades estadísticas derivadas de sus training data.

Varios factores impulsan este comportamiento:

• Adivinación probabilística: El modelo prioriza la fluidez y la coherencia sobre la verdad factual. Si una secuencia específica de palabras es estadísticamente probable —incluso si es factualmente incorrecta—, el modelo puede generarla. Este concepto se discute a menudo en la investigación sobre stochastic parrots, donde los modelos imitan patrones de lenguaje sin entender el significado.
• Problemas de calidad de los datos: Si el corpus masivo de texto utilizado para el entrenamiento contiene contradicciones, información obsoleta o ficción, el modelo puede reproducir estas inexactitudes.
• Amnesia de fuente: Los LLM comprimen grandes cantidades de información en model weights. En este proceso, a menudo pierden el enlace a fuentes específicas, lo que conduce a una "confabulación" donde conceptos o eventos distintos se fusionan incorrectamente.

Link to this sectionEjemplos reales de alucinación#

Las alucinaciones pueden manifestarse de varias formas, desde adornos creativos inofensivos hasta graves errores factuales:

• Fabricación legal: Se han documentado casos en los que profesionales del derecho utilizaron IA para redactar escritos legales, solo para descubrir que el modelo había inventado non-existent court cases y citas para respaldar un argumento.
• Generación de código: Los desarrolladores que usan asistentes de IA pueden encontrar "alucinaciones de paquetes", donde el modelo sugiere importar una librería de software o llamar a una función que no existe realmente, simplemente porque el nombre sigue las convenciones de nomenclatura estándar.
• Errores biográficos: Cuando se pregunta por personas menos famosas, los modelos pueden atribuirles con seguridad logros, lugares de nacimiento o historiales profesionales incorrectos, mezclando detalles de varias personas.

Link to this sectionEstrategias de mitigación#

Reducir la frecuencia de las alucinaciones es un enfoque principal de la AI Safety. Ingenieros e investigadores emplean varias técnicas para anclar los modelos a la realidad:

• Retrieval-Augmented Generation (RAG): Este método conecta el LLM a una base de conocimientos externa y fiable, a menudo indexada en una vector database. Al recuperar documentos relevantes antes de generar una respuesta, el modelo está limitado por datos reales.
• Chain-of-Thought Prompting: Esta técnica de prompt engineering anima al modelo a "mostrar su razonamiento" dividiendo la lógica compleja en pasos intermedios, lo que a menudo reduce los errores lógicos.
• Reinforcement Learning from Human Feedback (RLHF): Durante la etapa de ajuste fino, evaluadores humanos clasifican las respuestas del modelo. Al penalizar las alucinaciones y recompensar la veracidad, el modelo aprende a alinearse mejor con las expectativas humanas.

Link to this sectionAnclaje de LLMs con Visión por Computador#

En sistemas de Multimodal AI, la generación de texto puede anclarse utilizando datos visuales. Si se le pide a un LLM que describa una escena, podría alucinar objetos que no están allí. Al integrar un detector de objetos de alta precisión como YOLO26, los desarrolladores pueden proporcionar al LLM una lista factual de objetos presentes, limitando estrictamente su salida a detecciones verificadas.

El siguiente ejemplo en Python muestra cómo utilizar el paquete ultralytics para extraer una lista verificada de objetos, que luego puede servir como restricción factual para un prompt de un modelo de lenguaje.

from ultralytics import YOLO

# Load the YOLO26n model (latest generation, efficient and accurate)
model = YOLO("yolo26n.pt")

# Run inference on an image to get ground-truth detections
results = model("https://ultralytics.com/images/bus.jpg")

# Extract the class names of actually detected objects
detected_objects = [model.names[int(c)] for c in results[0].boxes.cls]

# This factual list prevents the LLM from hallucinating items
print(f"Verified Objects for Prompt Context: {detected_objects}")
# Output example: ['bus', 'person', 'person', 'person', 'person']

Link to this sectionDiferenciación de conceptos relacionados#

Es importante distinguir las alucinaciones de otros errores comunes de la IA:

• Vs. Bias in AI: El sesgo se refiere a prejuicios sistemáticos en los resultados (por ejemplo, favorecer un grupo demográfico sobre otro), mientras que la alucinación es un fallo de precisión factual. Una respuesta puede no tener sesgos y aun así ser una alucinación (por ejemplo, "La luna está hecha de queso").
• Vs. Overfitting: El sobreajuste ocurre cuando un modelo memoriza los datos de entrenamiento demasiado de cerca y no puede generalizar a nuevas entradas. Las alucinaciones a menudo ocurren cuando un modelo intenta generalizar demasiado en áreas donde carece de datos.
• Vs. Clasificación errónea: En object detection, etiquetar un coche como un camión es un error de clasificación (problema de precisión), no una alucinación. La alucinación es específica de la creación generativa de contenido falso.

Para aquellos que buscan gestionar conjuntos de datos y entrenar modelos con una alta integridad de datos para prevenir errores en etapas posteriores, la Ultralytics Platform ofrece herramientas integrales para la anotación y gestión de datasets. Además, la guía del NIST AI Risk Management Framework proporciona estándares para evaluar y mitigar estos riesgos en entornos de producción.