Alucinación (en LLM)

En el contexto de los Grandes Modelos Lingüísticos (LLM), una alucinación se refiere a un fenómeno en el que el modelo genera un texto que suena seguro y plausible, pero que es incorrecto desde el punto de vista de los hechos, carece de sentido o no se basa en los datos de origen proporcionados. Estos modelos, diseñados para la generación avanzada de textos, a veces pueden inventar hechos, fuentes o detalles, presentándolos como si fueran ciertos. Esto ocurre porque el objetivo principal de un LLM es predecir la siguiente palabra de una secuencia para formar frases coherentes, no verificar la veracidad de la información que genera. Comprender y mitigar las alucinaciones es un reto fundamental para que la IA Generativa sea más fiable.

¿Por qué alucinan los LLM?

Las alucinaciones no son engaños intencionados, sino subproductos de cómo se construyen y entrenan los LLM. Las principales causas son:

• Imperfecciones de los datos de entrenamiento: Los modelos como GPT-3 y GPT-4 aprenden a partir de inmensos volúmenes de texto de Internet, que inevitablemente contienen errores, información obsoleta y sesgos algorítmicos. El modelo aprende estos patrones a partir de sus datos de entrenamiento sin una comprensión inherente de la verdad.
• Diseño arquitectónico: La arquitectura subyacente de Transformer está optimizada para la correspondencia de patrones y el modelado del lenguaje, no para el recuerdo de hechos o el razonamiento lógico. Esto puede dar lugar a lo que algunos investigadores denominan un"loro estocástico", una entidad capaz de imitar el lenguaje sin comprender su significado.
• Ambigüedad del tiempo de inferencia: Durante la generación, si el modelo no está seguro de cuál es la siguiente mejor ficha, puede "rellenar los huecos" con información plausible pero inventada. A veces, el ajuste de parámetros de inferencia como la temperatura puede reducir esta situación, pero sigue siendo un reto importante. Para un resumen técnico, véase este estudio sobre las alucinaciones LLM en arXiv.

Ejemplos reales de alucinación

• Investigación jurídica: Un abogado que utilizaba un asistente de IA para la investigación de casos le pidió que encontrara precedentes jurídicos. El chatbot citó varios casos judiciales completamente inventados, incluidos los nombres de los casos y los análisis jurídicos, que eran plausibles pero inexistentes. Este incidente del mundo real puso de manifiesto los graves riesgos de utilizar asistentes jurídicos en campos de alto riesgo sin una sólida comprobación de los hechos.
• Recomendaciones de productos: Un usuario pregunta a un chatbot por la "mejor mochila de senderismo con panel solar incorporado". El LLM podría recomendar con confianza un modelo específico, describiendo sus características en detalle, incluso si ese producto o combinación de características en particular no existe. El modelo combina conceptos de sus datos de entrenamiento para crear un producto plausible pero ficticio.

Cómo reducir las alucinaciones

Los investigadores y desarrolladores trabajan activamente en varias estrategias de mitigación:

• Generación mejorada por recuperación (RAG): Esta técnica dota a un LLM de la capacidad de recuperar información de una base de conocimientos externa y autorizada (como una base de datos vectorial) antes de generar una respuesta. Al basar el modelo en hechos verificables, la RAG reduce significativamente las fabricaciones. Puede obtener más información sobre el funcionamiento de RAG en IBM Research.
• Mejores técnicas de estimulación: Métodos como el Chain-of-Thought animan al modelo a desglosar su razonamiento paso a paso, lo que puede conducir a resultados más precisos. El trabajo de investigación original sobre la cadena de pensamiento demuestra su eficacia.
• Aprendizaje por refuerzo a partir de la retroalimentación humana (RLHF): Los modelos se perfeccionan mediante el RLHF, en el que revisores humanos valoran diferentes respuestas del modelo. Esta retroalimentación entrena al modelo para que prefiera respuestas veraces y útiles, un proceso detallado por organizaciones como OpenAI y Anthropic.
• Capas de comprobación y verificación: Implementar un proceso independiente para cotejar las afirmaciones realizadas por un LLM con fuentes fiables antes de presentar el resultado al usuario. Esto añade una capa de desarrollo responsable de la IA.
• Conjuntos de datos de alta calidad y ajuste: La mejora continua de la calidad de los datos utilizados para la formación y la realización de ajustes finos en conjuntos de datos específicos de alta calidad pueden ayudar a alinear un modelo básico con la precisión de los hechos.

Alucinación frente a otros errores de IA

• Sesgo en IA: El sesgo en IA se refiere a errores sistemáticos en los que los resultados de un modelo favorecen injustamente a determinados grupos, normalmente como reflejo de sesgos sociales o del conjunto de datos. La alucinación se refiere a la incorrección de los hechos, no necesariamente a los prejuicios. Ambas son preocupaciones serias en la ética de la IA.
• Errores de visión por ordenador: El concepto de alucinación se asocia principalmente al Procesamiento del Lenguaje Natural (PLN). En Visión por Computador (VC), un error suele significar que un modelo como Ultralytics YOLO comete un error en la detección de objetos (por ejemplo, clasifica erróneamente un gato como perro) o no detecta un objeto, lo que se relaciona con su precisión. Se trata de un error de percepción, no de invención de información. Sin embargo, a medida que se generalizan los modelos multimodales que fusionan visión y lenguaje, también pueden "alucinar" descripciones incorrectas de las imágenes. La gestión de ambos tipos de modelos puede agilizarse en plataformas como Ultralytics HUB.