Alucinación (en LLM)

En el contexto de grandes modelos lingüísticos (LLM)se produce una alucinación cuando un modelo generativo produce un contenido seguro y sintácticamente fluido pero pero incorrecto en cuanto a los hechos, sin sentido o infiel al material de origen. A diferencia de los errores estándar de recuperación de bases de datos las alucinaciones en IA Generativa son suelen sonar plausibles, lo que dificulta su detect por parte de los usuarios sin una verificación independiente. Este fenómeno Este fenómeno se debe al diseño fundamental de estos modelos, que dan prioridad a las alucinaciones. generación de texto basada en probabilidad estadística en lugar de la validación de la verdad. Comprender las alucinaciones es fundamental para desplegar sistemas de IA seguros, sobre todo en sectores de alto riesgo como la sanidad, las finanzas y los servicios jurídicos.

Por qué los LLM alucinan

La causa principal de la alucinación radica en la Transformador y en los objetivos de entrenamiento utilizados para construir los modelos de base. Estos sistemas se entrenan para predecir el próximo token en una secuencia basada en patrones aprendidos a partir de grandes cantidades de datos de entrenamiento. No poseen un concepto inherente de "realidad" o "ficción", sino que modelan la probabilidad de que las palabras aparezcan juntas. probabilidad de que las palabras aparezcan juntas.

Varios factores contribuyen a este comportamiento:

• Limitaciones de los datos: Si el corpus de entrenamiento contiene información contradictoria, obsoleta o incorrecta, el modelo puede reproducir estos errores. Esto se discute a menudo en la investigación sobre loros estocásticosdonde los modelos imitan formas lingüísticas sin comprender el significado.
• Artefactos de compresión: Los LLM comprimen el conocimiento de Internet en un conjunto fijo de parámetros. Durante esta compresión pueden perderse matices, lo que lleva a confundir conceptos distintos.
• Ambigüedad de la inferencia: Cuando un modelo se enfrenta a una solicitud fuera de su distribución de conocimientos, puede por defecto respuesta estadísticamente más probable en lugar de admitir su ignorancia, un comportamiento a menudo denominado "confabulación".

Ejemplos reales de alucinaciones

Las alucinaciones pueden manifestarse de diversas formas, desde sutiles inexactitudes hasta fabricaciones completas:

• Fabricación de casos jurídicos: En un incidente ampliamente difundido, un profesional del derecho utilizó un LLM para investigación de casos. El modelo generó un escrito jurídico en el que se citaban varios casos judiciales inexistentes con citas y opiniones judiciales inventadas, lo que dio lugar a sanciones.
• Invención de la biblioteca de codificación: Los desarrolladores que utilizan asistentes de codificación de IA a veces se encuentran con recomendaciones de bibliotecas de software o métodos de API que en realidad no existen. El modelo alucina con un nombre de función plausible (por ejemplo, ultralytics.detect_everything()) basándose en las convenciones de nomenclatura estándar que ha visto en sus datos de entrenamiento, aunque esa función específica nunca se haya implementado.

Estrategias de mitigación

Reducir las alucinaciones es uno de los principales objetivos de seguridad de la IA de la IA. Varias técnicas se emplean actualmente para aterrizar los modelos en la realidad:

• Generación mejorada por recuperación (RAG): Este método conecta el LLM a una base de conocimientos externa de confianza de confianza, como una base de datos vectorial. En lugar de depender únicamente de la memoria interna, el modelo recupera los documentos relevantes antes de generar una respuesta. Puede obtener más información sobre cómo RAG mejora la precisión en las aplicaciones empresariales.
• Ingeniería Prompt: Técnicas como Estimulación de la cadena de pensamiento animan al modelo a explicar su razonamiento paso a paso, lo que ha demostrado reducir los errores lógicos y mejorar la coherencia de los hechos. la coherencia de los hechos.
• Aprendizaje por refuerzo a partir de la retroalimentación humana (RLHF): Los desarrolladores utilizan Aprendizaje por refuerzo a partir de la retroalimentación humana (RLHF) para penalizar al modelo por alucinaciones durante la fase de ajuste, alineando sus resultados con las preferencias humanas por la veracidad. por la veracidad.
• Toma de tierra multimodal: En las tareas de visión-lenguaje, las alucinaciones pueden reducirse verificando el texto texto con datos estructurados de visión por ordenador (CV) (CV).

Formación de LLM en visión por ordenador

Una forma eficaz de mitigar las alucinaciones en los flujos de trabajo multimodales es utilizar un detección de objetos para verificar el contenido físico de una imagen antes de que un LLM la describa. Al introducir en el contexto del LLM una lista verificada de objetos del LLM, se evita que invente elementos que no existen.

El siguiente ejemplo muestra cómo utilizar Ultralytics YOLO11 para generar una para generar una lista de objetos que puede servir como restricción factual para un modelo generativo.

from ultralytics import YOLO

# Load the official YOLO11 model
model = YOLO("yolo11n.pt")

# Run inference on an image to get factual data
results = model("https://ultralytics.com/images/bus.jpg")

# Extract the class names of detected objects to ground the LLM
detected_objects = [model.names[int(c)] for c in results[0].boxes.cls]

# This list prevents the LLM from hallucinating objects not present
print(f"Verified Objects: {detected_objects}")
# Output: Verified Objects: ['bus', 'person', 'person', 'person', 'person']

Alucinación frente a otra terminología

Es importante distinguir las alucinaciones de otros tipos de errores de IA:

• contra la parcialidad: Sesgo en IA se refiere al prejuicio sistemático (por ejemplo, estereotipos), mientras que la alucinación se refiere a la incorrección de los hechos. Una afirmación puede ser imparcial pero alucinada, o factual pero sesgada.
• frente a errores de precisión: En las tareas de clasificación, una predicción errónea (como etiquetar un perro como gato) es un error de precisión, no una alucinación. La alucinación es específica del generativa proceso de creación de contenido.
• frente al sobreajuste: Mientras que sobreajuste implica memorizar datos de entrenamiento con demasiada precisión, las alucinaciones suelen producirse cuando el modelo intenta generalizar más allá de sus datos de entrenamiento y fracasa.

Para obtener más información sobre la evaluación de modelos generativos, consulte la página Marco de gestión de riesgos de la IA del NIST ofrece una visión completa de las normas de fiabilidad y seguridad. Además, los investigadores siguen desarrollando algoritmos de verificación de hechos para detect y marcar automáticamente contenidos alucinatorios en tiempo real.