Hallucination (in LLMs)

Una alucinación en un modelo de lenguaje grande (LLM) es contenido generado que parece fluido y convincente, pero es falso, no está respaldado por las fuentes del modelo o contradice la entrada del propio modelo. Las alucinaciones van desde una cita inventada o una fecha incorrecta hasta un resumen que añade afirmaciones que el documento de origen nunca hizo, y son difíciles de detectar porque una respuesta errónea tiene el mismo tono que una correcta. En el caso Mata contra Avianca (2023), un tribunal federal estadounidense sancionó a dos abogados por presentar un escrito que citaba seis resoluciones judiciales inventadas por ChatGPT. Algunos investigadores prefieren el término confabulación porque el modelo rellena lagunas de conocimiento con texto verosímil.

Tipos de alucinaciones#

• Alucinaciones intrínsecas: Respuestas que contradicen la fuente proporcionada, como un resumen que indica un año de aprobación distinto al del documento que resume. El estudio de Ji et al. utiliza este término y el siguiente para clasificar errores en resúmenes, diálogos y traducciones.
• Alucinaciones extrínsecas: Respuestas que añaden información que la fuente no puede confirmar, que puede ser verdadera o no.
• Errores factuales en respuestas abiertas: Sin ninguna fuente, el modelo afirma datos incorrectos, inventa referencias o mezcla detalles de varias personas en una sola biografía.
• Alucinaciones de paquetes: Los asistentes de programación importan bibliotecas inexistentes. Un estudio de 576.000 muestras de código generadas por 16 modelos descubrió que al menos el 5.2 % de los paquetes sugeridos por modelos comerciales y el 21.7 % de los sugeridos por modelos de código abierto eran alucinaciones. El estudio identificó 205,474 nombres de paquetes falsos únicos que los atacantes podían registrar con código malicioso.
• Alucinaciones de objetos: Los modelos de visión y lenguaje (VLM) describen objetos que no aparecen en la imagen.

Por qué alucinan los LLM#

Un LLM genera texto prediciendo el siguiente token a partir de probabilidades aprendidas durante el preentrenamiento, sin un mecanismo integrado para contrastar el texto con una base de datos de hechos. Kalai et al. (2025), de OpenAI, atribuyen las alucinaciones a dos presiones estadísticas. Durante el preentrenamiento, los hechos que solo aparecen una vez, como la fecha de nacimiento de una persona poco conocida, no se pueden aprender de forma fiable: si el 20 % de los hechos sobre fechas de nacimiento aparece exactamente una vez en los datos de entrenamiento, cabe esperar que un modelo base alucine en al menos el 20 % de las preguntas sobre fechas de nacimiento. Tras el entrenamiento, la mayoría de las pruebas de referencia califican las respuestas como correctas o incorrectas y asignan cero puntos a «No lo sé», así que un modelo que adivina obtiene más puntos que uno que se abstiene, y el posentrenamiento ajusta los modelos para que adivinen con confianza.

A esto se suman otros factores. El muestreo con una temperatura alta o un muestreo de núcleo amplio puede seleccionar continuaciones de baja probabilidad; la precisión disminuye cuando los hechos pertinentes quedan enterrados en entradas largas (deterioro del contexto), y los modelos entrenados para obtener aprobación humana tienden a aceptar una premisa falsa de la pregunta, una forma de adulación de la IA.

Detección y reducción de alucinaciones#

• Generación aumentada por recuperación (RAG): El sistema recupera pasajes de una colección de confianza e indica al modelo que responda basándose en ellos. Un reevaluador mejora la selección de los pasajes que llegan al prompt, aunque el modelo aún puede interpretarlos mal o ignorarlos.
• Fundamentación con citas: Cada afirmación debe citar un pasaje recuperado, y un verificador, a menudo un segundo modelo, confirma que el pasaje la respalda.
• Entropía semántica: El modelo responde varias veces a la misma pregunta, las respuestas se agrupan por significado y una entropía elevada entre los grupos indica una posible confabulación.
• Cadena de verificación (CoVe): El modelo redacta una respuesta, formula preguntas para verificar sus propias afirmaciones, las responde de forma independiente y revisa el borrador.
• Recompensar la abstención: Entrenar con RLHF u otras formas de retroalimentación que penalicen más los errores afirmados con seguridad que un «No lo sé», y puntuar las evaluaciones del mismo modo, elimina el incentivo para adivinar.

Un sistema fundamentado de preguntas y respuestas combina varias de estas comprobaciones en un bucle:

Alucinaciones frente a conceptos relacionados#

• Sesgo en la IA: Desviación sistemática de las respuestas, como favorecer a un grupo. Una respuesta puede no tener sesgo y, aun así, contener alucinaciones; también puede ser correcta desde el punto de vista factual y, a la vez, estar sesgada.
• Sobreajuste: Memorizar ejemplos de entrenamiento a costa de la capacidad de generalización. Las alucinaciones suelen deberse a la situación opuesta: el modelo completa un dato que vio demasiado pocas veces como para memorizarlo.
• Colapso del modelo: Pérdida de conocimiento poco frecuente cuando los modelos se entrenan con datos generados, lo que puede hacer que los modelos posteriores alucinen más con hechos de cola larga.

Alucinaciones de objetos en modelos de visión y lenguaje#

Los VLM se apoyan en los conocimientos previos lingüísticos, así que un modelo de generación de descripciones puede mencionar un tenedor en una mesa de comedor donde no hay ninguno porque los tenedores aparecen a menudo junto a los platos en las descripciones de entrenamiento. Las alucinaciones de objetos en la generación de descripciones de imágenes se miden con la métrica CHAIR, que calcula la proporción de objetos mencionados en una descripción que no aparecen en las anotaciones de referencia de la imagen. Cuando un VLM dibuja cuadros, cada objeto alucinado se convierte en un falso positivo, y los resultados del benchmark de VLM muestran la precisión de cada modelo en conjuntos de datos de detección del mundo real. Una forma de mitigarlo es pasar al modelo de lenguaje una lista de objetos que un detector haya encontrado realmente. El fragmento siguiente ejecuta YOLO26 en una imagen y convierte sus detecciones en una restricción de la instrucción:

from ultralytics import YOLO

model = YOLO("yolo26n.pt")
results = model("https://ultralytics.com/images/bus.jpg")
result = results[0]

# Per-class detection counts as text, used as facts the language model must stay within
detections = result.verbose()
prompt = f"Describe this image. Mention only these detected objects: {detections}"
print(prompt)

result.verbose() devuelve un recuento por cada clase detectada, así que todos los objetos mencionados en el prompt tienen detrás una caja delimitadora, y se puede detectar cualquier respuesta que mencione otro objeto antes de que llegue al usuario.