Alucinación (en LLM)

En el contexto de los Modelos de Lenguaje Grande (LLM), una alucinación se refiere a un fenómeno donde el modelo genera texto que suena confiado y plausible, pero que es fácticamente incorrecto, sin sentido o no se basa en los datos de origen proporcionados. Estos modelos, diseñados para la generación de texto avanzada, a veces pueden inventar hechos, fuentes o detalles, presentándolos como si fueran verdaderos. Esto sucede porque el objetivo principal de un LLM es predecir la siguiente palabra en una secuencia para formar oraciones coherentes, no verificar la veracidad de la información que genera. Comprender y mitigar las alucinaciones es un desafío central para hacer que la IA Generativa sea más confiable.

¿Por qué las LLM alucinan?

Las alucinaciones no son engaños intencionales, sino subproductos de cómo se construyen y entrenan los LLM. Las principales causas incluyen:

• Imperfecciones en los datos de entrenamiento: Modelos como GPT-3 y GPT-4 aprenden de inmensos volúmenes de texto de Internet, que inevitablemente contienen errores, información desactualizada y sesgos algorítmicos. El modelo aprende estos patrones de sus datos de entrenamiento sin una comprensión inherente de la verdad.
• Diseño arquitectónico: La arquitectura Transformer subyacente está optimizada para la coincidencia de patrones y el modelado del lenguaje, no para el recuerdo de hechos o el razonamiento lógico. Esto puede llevar a lo que algunos investigadores llaman un "loro estocástico", una entidad que puede imitar el lenguaje sin comprender su significado.
• Ambigüedad en Tiempo de Inferencia: Durante la generación, si el modelo no está seguro del siguiente mejor token, puede "rellenar los huecos" con información plausible pero inventada. Ajustar los parámetros de inferencia como la temperatura a veces puede reducir esto, pero sigue siendo un desafío central. Para una visión general técnica, consulte esta encuesta sobre las alucinaciones de LLM de arXiv.

Ejemplos reales de alucinaciones

• Investigación jurídica: Un abogado que utilizaba un asistente de IA para la investigación de casos le pidió que encontrara precedentes legales. El chatbot citó varios casos judiciales completamente inventados, incluyendo nombres de casos y análisis legales, que eran plausibles pero inexistentes. Este incidente del mundo real puso de relieve los graves riesgos de desplegar LLM en campos de alto riesgo sin una sólida verificación de los hechos.
• Recomendaciones de productos: Un usuario le pide a un chatbot la "mejor mochila de senderismo con un panel solar integrado". El LLM podría recomendar con confianza un modelo específico, describiendo sus características en detalle, incluso si ese producto o combinación de características en particular no existe. El modelo combina conceptos de sus datos de entrenamiento para crear un producto plausible pero ficticio.

Cómo reducir las alucinaciones

Los investigadores y desarrolladores están trabajando activamente en varias estrategias de mitigación:

• Generación Aumentada por Recuperación (Retrieval-Augmented Generation, RAG): Esta técnica dota a un LLM con la capacidad de recuperar información de una base de conocimiento externa y autorizada (como una base de datos vectorial) antes de generar una respuesta. Al basar el modelo en hechos verificables, RAG reduce significativamente las invenciones. Puede obtener más información sobre cómo funciona RAG en IBM Research.
• Mejores técnicas de prompting: Métodos como el prompting Chain-of-Thought animan al modelo a descomponer su razonamiento paso a paso, lo que puede conducir a resultados más precisos. El artículo de investigación original sobre Chain-of-Thought muestra su eficacia.
• Aprendizaje por Refuerzo a partir de la Retroalimentación Humana (RLHF): Los modelos se refinan utilizando RLHF, donde los revisores humanos califican diferentes respuestas del modelo. Esta retroalimentación entrena al modelo para que prefiera respuestas veraces y útiles, un proceso detallado por organizaciones como OpenAI y Anthropic.
• Capas de verificación y comprobación de datos: Implementar un proceso separado para verificar las afirmaciones hechas por un LLM contrastándolas con fuentes confiables antes de presentar el resultado al usuario. Esto añade una capa de desarrollo de IA responsable.
• Conjuntos de Datos de Alta Calidad y Ajuste Fino: Mejorar continuamente la calidad de los datos utilizados para el entrenamiento y realizar un ajuste fino en conjuntos de datos específicos y de alta calidad puede ayudar a alinear un modelo fundacional con la precisión factual.

Alucinación vs. Otros Errores de la IA

• Sesgo en la IA: El sesgo en la IA se refiere a errores sistemáticos donde las salidas de un modelo favorecen injustamente a ciertos grupos, generalmente reflejando sesgos sociales o de conjuntos de datos. La alucinación se trata de incorrección fáctica, no necesariamente de prejuicios. Ambos son preocupaciones serias en la ética de la IA.
• Errores de visión artificial: El concepto de alucinación se asocia principalmente con el Procesamiento del Lenguaje Natural (PNL). En la Visión Artificial (CV), un error normalmente significa que un modelo como Ultralytics YOLO comete un error en la detección de objetos (por ejemplo, clasificar erróneamente un gato como un perro) o no detecta un objeto, lo que se relaciona con su precisión. Este es un error de percepción, no una invención de información. Sin embargo, a medida que los modelos multimodales que fusionan la visión y el lenguaje se vuelven más comunes, también pueden "alucinar" descripciones incorrectas de las imágenes. La gestión de ambos tipos de modelos puede simplificarse en plataformas como Ultralytics HUB.