AI Safety

La seguridad de la IA es el campo de investigación e ingeniería que busca evitar que los sistemas de inteligencia artificial (IA) causen daños, ya sea por accidentes, por un uso malintencionado deliberado o porque los sistemas persigan objetivos que sus desarrolladores no pretendían. Abarca los sistemas de aprendizaje automático desplegados, como la pila de percepción de un vehículo autónomo o un chatbot de atención al cliente, así como los modelos de IA de vanguardia y agentes más capaces que desarrollan los laboratorios. El trabajo comprende la investigación técnica, las prácticas de prueba y los marcos que empresas y gobiernos utilizan para decidir cuándo un sistema es lo bastante seguro como para publicarlo.

Problemas fundamentales de la seguridad de la IA#

El artículo de 2016 Problemas concretos de seguridad de la IA, escrito por investigadores de Google Brain, OpenAI, Stanford y UC Berkeley, planteó cinco problemas de investigación relacionados con los accidentes en el aprendizaje automático, ilustrados mediante un robot de limpieza que aún sirven para organizar buena parte del campo:

• Evitar efectos secundarios negativos: Un robot al que solo se recompensa por dejar el suelo limpio no tiene motivos para evitar tirar un jarrón mientras trabaja.
• Manipulación de recompensas: Cumplir literalmente un objetivo mientras se frustra su propósito; por ejemplo, cubrir la suciedad con un material que la cámara del robot no pueda atravesar.
• Supervisión escalable: Entrenar un buen comportamiento cuando comprobar cada acción cuesta demasiado; por ejemplo, preguntar a una persona de vez en cuando cuánto se ha limpiado la habitación.
• Exploración segura: Permitir que un agente de aprendizaje pruebe acciones nuevas sin intentar acciones catastróficas, como introducir una fregona mojada en un enchufe.
• Robustez frente a cambios en la distribución: Reconocer entradas distintas de las del entorno de entrenamiento y actuar con cautela ante ellas; por ejemplo, cuando un robot entrenado en una oficina pasa a una planta industrial.

Cada problema se convirtió en un área de investigación propia. La supervisión escalable pasó a ser una línea fundamental de investigación sobre la superalineación, que estudia cómo supervisar sistemas más capaces que quienes los supervisan; la exploración segura es una restricción del aprendizaje por refuerzo, y los cambios en la distribución aparecen en los sistemas de producción como deriva de datos.

De dónde proceden los riesgos de la IA#

En su artículo de 2025 Un enfoque para la seguridad técnica de la AGI, Google DeepMind clasifica los riesgos graves en cuatro áreas, diferenciadas según quién o qué sea responsable del daño:

Cada área requiere medidas de defensa distintas. El uso malintencionado se combate mediante entrenamiento para rechazar solicitudes, barreras de protección de IA y acceso restringido a capacidades peligrosas. Es difícil comprobar si hay desalineación, porque un modelo desalineado puede comportarse bien cuando está bajo observación: en estudios se han detectado simulaciones de alineación durante el entrenamiento, bajo rendimiento deliberado en evaluaciones, agentes durmientes con puertas traseras que sobreviven al entrenamiento de seguridad y desalineación emergente tras un ajuste fino limitado. La robustez, las pruebas y la supervisión ayudan a reducir los errores; los riesgos estructurales, como los daños que surgen de la competencia entre muchos desarrolladores o de las interacciones entre muchos agentes de IA, son principalmente una cuestión de gobernanza.

Métodos en la práctica#

El trabajo de seguridad abarca todo el ciclo de vida de un modelo. Durante el entrenamiento, el aprendizaje por refuerzo a partir de comentarios humanos (RLHF) y la IA constitucional determinan qué hará y qué no hará el modelo. Antes del lanzamiento, los equipos rojos de IA y las evaluaciones de capacidades peligrosas investigan posibles fallos, mientras que la interpretabilidad mecanicista examina los cálculos internos en busca de objetivos que las respuestas por sí solas no revelarían. Los marcos de seguridad para la IA de vanguardia, como la Política de escalado responsable de Anthropic, definen umbrales de capacidad a partir de los cuales un modelo necesita medidas de seguridad y salvaguardias de despliegue más estrictas.

Tras el despliegue, la supervisión del modelo detecta entradas con las que nunca se había probado. La supervisión de despliegues de Ultralytics Platform muestra en gráficos la distribución de confianza y su media a lo largo del tiempo para un endpoint de YOLO26 desplegado; así, una caída tras mover una cámara o cambiar la iluminación alerta de que las entradas se alejan de los datos de entrenamiento. Los sistemas que actúan en el mundo físico también necesitan una alternativa segura, como la condición de riesgo mínimo definida para los vehículos automatizados: una parada segura a la que llega el vehículo cuando su sistema de conducción automatizada ya no puede continuar.

Seguridad de la IA y campos relacionados#

La seguridad de la IA se solapa con varios campos que a menudo se utilizan como si fueran sinónimos:

• Ética de la IA: Pregunta qué deberían hacer los sistemas de IA y para quién, y abarca la equidad, la privacidad y la rendición de cuentas. Los daños, como las decisiones sesgadas, pertenecen a ambos campos.
• Seguridad de la IA: Protege los sistemas de IA frente a atacantes mediante defensas contra ejemplos adversarios, envenenamiento de datos, inyección de prompts y robo de modelos.
• Alineación de la IA: Subcampo de la seguridad de la IA que se ocupa de lograr que un sistema persiga los objetivos que pretendían sus desarrolladores y que aborda el área de desalineación descrita antes.
• Gobernanza de la IA: Leyes, normas y políticas internas que determinan cómo se desarrollan y publican los sistemas de IA, como los niveles de riesgo de la Ley de IA de la UE.

Los límites cambian con las políticas: en febrero de 2025, el Reino Unido cambió el nombre de su AI Safety Institute, organismo gubernamental que prueba los modelos de vanguardia antes de su lanzamiento, por AI Security Institute, para centrarse en riesgos con implicaciones de seguridad, como los ciberataques, el fraude y el desarrollo de armas químicas y biológicas.