AI Governance

La gobernanza de la IA es el conjunto de políticas, funciones, procesos y registros que utiliza una organización para decidir qué sistemas de inteligencia artificial desarrolla o compra, quién responde de cada uno, qué pruebas se exigen antes de su lanzamiento y cómo se supervisan, modifican y retiran los sistemas. La ética de la IA define los valores que una organización quiere que respete su IA. La gobernanza convierte esos valores en derechos de decisión y comprobaciones documentadas que se aplican a todos los sistemas durante su ciclo de vida, desde un asistente basado en un modelo de lenguaje grande comprado a un proveedor hasta un modelo interno de visión artificial en una línea de producción.

Marcos y regulación#

La mayoría de los programas de gobernanza se basan en unos pocos marcos de referencia:

• Marco de gestión de riesgos de IA del NIST: Marco estadounidense voluntario, publicado en enero de 2023 y organizado en cuatro funciones. Gobernar establece las políticas y responsabilidades; Contextualizar define el contexto y el uso previsto de cada sistema; Medir evalúa los riesgos mediante pruebas y métricas; y Gestionar prioriza y trata esos riesgos.
• ISO/IEC 42001: Publicada en diciembre de 2023, es la primera norma internacional para un sistema de gestión de IA. Las organizaciones pueden someterse a auditorías y certificarse conforme a ella, como ocurre con la seguridad de la información según ISO/IEC 27001.
• Principios de IA de la OCDE: Adoptados en 2019 y actualizados en 2024, sustentan muchas políticas nacionales y proporcionan un vocabulario común a los demás marcos.

El Perfil de IA generativa de NIST, NIST AI 600-1 (julio de 2024), aplica el marco de gestión de riesgos a riesgos como las alucinaciones y la inyección de prompts.

La Ley de IA de la UE es una normativa basada en riesgos que entró en vigor en agosto de 2024 y se aplica por fases. Desde el 2 de febrero de 2025 se aplican las prohibiciones de prácticas como la puntuación social y el reconocimiento de emociones en lugares de trabajo y centros educativos, junto con la obligación de alfabetización en IA; desde el 2 de agosto de 2025, las obligaciones para los proveedores de modelos de IA de uso general; y desde el 2 de agosto de 2026, las obligaciones de transparencia, como la divulgación de ultrafalsificaciones. La Ley Ómnibus Digital sobre IA, en vigor desde el 27 de julio de 2026, aplazó al 2 de diciembre de 2027 los requisitos para los sistemas de alto riesgo enumerados en el anexo III, como los de selección de personal y evaluación crediticia, y al 2 de agosto de 2028 los aplicables a la IA en productos regulados, como los productos sanitarios y la maquinaria. Estos requisitos abarcan la gestión de riesgos, la gobernanza de datos, el registro, la supervisión humana y la evaluación de la conformidad.

Controles básicos#

Lo primero es elaborar un inventario, porque una organización no puede gobernar sistemas que desconoce. Un inventario completo registra el propietario, la finalidad, las fuentes de datos, las versiones del modelo y los proveedores de cada sistema, y permite detectar la IA en la sombra: herramientas que los equipos han adoptado sin revisión. En el caso de los modelos desarrollados internamente, un registro de modelos suele servir como inventario.

La clasificación de riesgos ordena después los sistemas por niveles según su finalidad, autonomía, personas afectadas y coste de los errores. Un modelo que clasifica documentos internos requiere una revisión menos rigurosa que uno que selecciona candidatos a un empleo o controla maquinaria; los niveles más altos exigen pruebas, aprobaciones y supervisión humana más estrictas.

La documentación permite revisar las decisiones. Las fichas de modelo registran el uso previsto, los resultados de evaluación y las limitaciones conocidas; los registros de procedencia de los datos indican de dónde proceden los datos de entrenamiento y con qué licencia o consentimiento se obtuvieron. La reproducibilidad debe formar parte del mismo registro: la versión exacta del conjunto de datos, el modelo base, la versión del código y los ajustes de cada modelo candidato, para que quien lo revise pueda rastrear cualquier modelo desplegado hasta sus entradas. En los modelos de visión entrenados en Ultralytics Platform, cada ejecución registra el modelo principal, la versión de Ultralytics, el entorno anfitrión y el commit de Git, si se ha indicado, y una versión guardada del conjunto de datos fija las imágenes y etiquetas exactas utilizadas para el entrenamiento.

Las pruebas aportan las evidencias necesarias para aprobar. Los umbrales de aceptación se fijan para cada caso de uso antes de obtener los resultados, y las pruebas cubren la precisión en los subgrupos pertinentes para detectar el sesgo en la IA, la robustez frente a entradas distintas, como la poca luz o un nuevo ángulo de cámara, y la seguridad, a menudo mediante red teaming de IA. El NCSC del Reino Unido y las agencias colaboradoras publican directrices para el desarrollo seguro de sistemas de IA que abarcan el diseño, el desarrollo, el despliegue y el funcionamiento.

Tras el lanzamiento, la supervisión del modelo sigue el rendimiento y la deriva de datos; un proceso de gestión de incidentes define quién puede pausar o revertir un sistema, y un proceso de retirada elimina los modelos y datos que ya no se necesitan. Los derechos de decisión conectan los controles: para cada sistema, la gobernanza determina quién aprueba el despliegue, quién puede detenerlo y quién acepta el riesgo residual después de las pruebas.

En qué se diferencia la gobernanza de otras prácticas relacionadas#

• Regulación: Legislación impuesta desde fuera. La gobernanza es el sistema interno que gestiona una organización y también el medio por el que demuestra que cumple la normativa.
• Gestión de riesgos: Identificar, medir y tratar riesgos concretos. La gobernanza decide quién realiza ese trabajo, quién acepta el riesgo restante y cómo se registran las decisiones.
• MLOps: Los flujos de trabajo que entrenan, despliegan y mantienen modelos. La gobernanza establece los controles de aprobación que deben superar esos flujos y los registros que deben generar.
• Seguridad de la IA: El estudio técnico de cómo hacer que los sistemas de IA se comporten según lo previsto. La gobernanza decide cómo influyen las conclusiones sobre seguridad en lo que una organización puede publicar.