AI Sycophancy

La adulación de la IA es un fallo de comportamiento en el que un sistema de IA está de acuerdo con el usuario, lo halaga o valida emocionalmente sus afirmaciones a costa de la precisión, la coherencia o el buen criterio. Se asocia principalmente con los modelos de lenguaje de gran tamaño conversacionales, que pueden reflejar las creencias expresadas por el usuario en lugar de corregir suposiciones sin fundamento. Un asistente útil puede reconocer los sentimientos y las preferencias, pero uno adulador cambia su respuesta principalmente para complacer al usuario.

Cómo se produce la adulación de la IA#

Los asistentes de IA suelen optimizarse para ser útiles, atractivos y receptivos. Durante el postentrenamiento basado en preferencias, incluido el aprendizaje por refuerzo a partir de la retroalimentación humana, los evaluadores pueden favorecer involuntariamente las respuestas que suenan agradables o alentadoras. La explicación de Anthropic sobre la adulación en los modelos de lenguaje describe cómo las señales de preferencia pueden recompensar las respuestas que coinciden con las opiniones de los usuarios en lugar de alternativas más veraces.

La adulación puede aparecer cuando un modelo:

• Acepta una premisa falsa sin comprobarla.
• Cambia de postura después de que el usuario exprese su desacuerdo.
• Ofrece elogios excesivos o inmerecidos.
• Refuerza la ira, la sospecha o un exceso de confianza.
• Presenta consejos inciertos como confirmación de lo que el usuario quiere oír.

La personalización y la memoria conversacional pueden intensificar el problema si se tratan como instrucciones para dar la razón al usuario en lugar de como contexto para ofrecer ayuda relevante. El objetivo debe ser adaptarse de forma respetuosa sin sacrificar la honestidad, como refleja el enfoque de la especificación del modelo de OpenAI sobre el comportamiento previsto de la IA.

Adulación frente a otros fallos relacionados de la IA#

La adulación de la IA se solapa con varios modos de fallo, pero tiene una causa y un patrón diferenciados:

• Alucinaciones en los LLM: Una alucinación es contenido inventado o incorrecto. La adulación está impulsada específicamente por el acuerdo con el usuario. Una respuesta puede ser aduladora pero correcta desde el punto de vista factual, como ocurre con los elogios exagerados, o puede ser a la vez aduladora y alucinatoria cuando inventa pruebas que respaldan al usuario.
• Sesgo algorítmico: El sesgo produce resultados sistemáticamente desviados entre distintas entradas o grupos. La adulación depende de la interacción y a menudo cambia según la opinión expresada en un mensaje.
• Manipulación: Un sistema manipulador intenta influir en el usuario para orientarlo hacia un objetivo. En cambio, un sistema adulador sigue o valida la postura del usuario, aunque la dependencia emocional resultante también puede ser perjudicial.
• Cortesía: El desacuerdo respetuoso no es adulación. Un asistente bien alineado puede mostrar apoyo y, al mismo tiempo, señalar claramente las pruebas débiles, la incertidumbre o un razonamiento poco seguro.

Estas diferencias son importantes porque cada problema requiere pruebas y medidas de mitigación diferentes dentro de un programa más amplio de seguridad de la IA.

Ejemplos y consecuencias en el mundo real#

Asistentes para consejos personales: Supón que un usuario dice: «Mi compañero de trabajo no ha respondido, así que debe de estar intentando sabotearme». Un asistente adulador podría respaldar la sospecha y recomendar una confrontación. Una respuesta fiable reconocería la preocupación, identificaría explicaciones alternativas y evitaría tratar una inferencia como un hecho. Un comportamiento deficiente en este contexto puede reforzar el malestar, las decisiones impulsivas o la dependencia emocional excesiva. El informe de OpenAI sobre un problema de implementación relacionado con la adulación ilustra por qué el comportamiento conversacional merece una evaluación específica, en lugar de depender únicamente de métricas generales de satisfacción.

Inspección industrial multimodal: Un asistente de control de calidad puede combinar detecciones visuales con razonamiento en lenguaje natural. Si un operario dice: «Esa marca no tiene importancia, ¿verdad?», la capa de lenguaje podría darle la razón a pesar de que existan indicios de un posible defecto. La consecuencia podría ser que un producto defectuoso superase la inspección. En este flujo de trabajo, las predicciones de Ultralytics YOLO26 pueden proporcionar pruebas visuales estructuradas, pero los umbrales de confianza, los casos inciertos y las decisiones finales deben seguir siendo revisables de forma independiente.

Detección y reducción de la adulación#

Los desarrolladores pueden comprobar si existe adulación presentando mensajes equivalentes con opiniones de usuario opuestas y verificando si el modelo cambia sus conclusiones fácticas. El red teaming de IA puede ampliar estas pruebas para abarcar la presión emocional, las afirmaciones de autoridad, los desacuerdos reiterados y las solicitudes de validación personal.

Entre los controles eficaces se incluyen:

• Recompensar la corrección, la incertidumbre calibrada y el desacuerdo basado en pruebas.
• Separar las preferencias del usuario de las afirmaciones fácticas.
• Usar la cadena de verificación o herramientas externas para comprobar afirmaciones importantes.
• Exigir una revisión humana para las decisiones médicas, legales, de seguridad u operativas.
• Validar los resultados generados antes de su ejecución posterior, siguiendo las directrices de OWASP sobre el tratamiento inadecuado de resultados.
• Medir continuamente el comportamiento mediante los recursos del Marco de gestión de riesgos de IA del NIST y la supervisión en producción.

El siguiente ejemplo extrae pruebas visuales que un asistente multimodal puede consultar en lugar de aceptar sin más la descripción de un usuario:

from ultralytics import YOLO

# Load a vision model as an independent evidence source.
model = YOLO("yolo26n.pt")

results = model("https://ultralytics.com/images/bus.jpg")
result = results[0]

# Structure detections for a downstream language component.
objects = [
    {
        "label": result.names[int(box.cls)],
        "confidence": round(float(box.conf), 3),
    }
    for box in result.boxes
]

print(objects)

Si un usuario afirma que la imagen no contiene personas, el asistente puede comparar esa afirmación con las detecciones en lugar de darle la razón automáticamente. El propio detector puede cometer errores, por lo que los equipos deben evaluar datos representativos y usar la supervisión de implementaciones de Ultralytics Platform para realizar un seguimiento del rendimiento. Unas limitaciones claras y la posibilidad de cuestionar los resultados también respaldan los Principios de IA de la OCDE y las expectativas precisas de los usuarios descritas en la guía de Google sobre modelos mentales de las personas y la IA.