AI Governance

La gouvernance de l’IA regroupe les politiques, les rôles, les processus et les dossiers dont se sert une organisation pour décider quels systèmes d’intelligence artificielle elle développe ou achète, qui en est responsable, quelles preuves sont requises avant leur mise en service et comment ils sont surveillés, modifiés et retirés. L’éthique de l’IA définit les valeurs que l’organisation souhaite voir respecter par son IA. La gouvernance traduit ces valeurs en droits décisionnels et en contrôles documentés applicables à chaque système tout au long de son cycle de vie, d’un assistant fondé sur un grand modèle de langage acheté auprès d’un fournisseur à un modèle de vision par ordinateur développé en interne pour une chaîne de production.

Cadres et réglementation#

La plupart des programmes de gouvernance s’appuient sur un petit nombre de cadres de référence :

• Cadre de gestion des risques liés à l’IA du NIST : Un cadre américain facultatif publié en janvier 2023 et structuré autour de quatre fonctions. Govern définit les politiques et les responsabilités, Map établit le contexte et l’usage prévu de chaque système, Measure évalue les risques à l’aide de tests et de métriques, et Manage hiérarchise et traite ces risques.
• ISO/IEC 42001 : publiée en décembre 2023, c’est la première norme internationale relative aux systèmes de management de l’IA. Les organisations peuvent faire l’objet d’un audit et d’une certification selon cette norme, comme pour la sécurité de l’information selon ISO/IEC 27001.
• Principes de l’OCDE sur l’IA : adoptés en 2019 et mis à jour en 2024, ils sous-tendent de nombreuses politiques nationales et donnent aux autres cadres un vocabulaire commun.

Le profil de l’IA générative du NIST, NIST AI 600-1 (juillet 2024), applique le cadre de gestion des risques à des risques comme les hallucinations et l’injection de prompt.

Le règlement européen sur l’IA est un règlement fondé sur les risques, entré en vigueur en août 2024 et appliqué par étapes. Depuis le 2 février 2025 s’appliquent les interdictions de pratiques comme le classement social et la reconnaissance des émotions sur les lieux de travail et dans les établissements scolaires, ainsi qu’une obligation d’alphabétisation à l’IA. Depuis le 2 août 2025 s’appliquent les obligations des fournisseurs de modèles d’IA à usage général, et depuis le 2 août 2026 les obligations de transparence, notamment la divulgation des hypertrucages. Le paquet législatif européen sur l’IA intitulé Digital Omnibus, en vigueur depuis le 27 juillet 2026, a reporté au 2 décembre 2027 les exigences applicables aux systèmes à haut risque répertoriés à l’annexe III, comme le recrutement et l’évaluation du risque de crédit, et au 2 août 2028 celles applicables à l’IA intégrée dans des produits réglementés comme les dispositifs médicaux et les machines. Ces exigences couvrent la gestion des risques, la gouvernance des données, la journalisation, la supervision humaine et l’évaluation de la conformité.

Contrôles essentiels#

Il faut commencer par établir un inventaire, car une organisation ne peut pas gouverner des systèmes dont elle ignore l’existence. Un inventaire complet consigne le responsable de chaque système, son objectif, ses sources de données, ses versions de modèle et ses fournisseurs, et met en évidence l’IA fantôme : les outils adoptés par les équipes sans examen préalable. Pour les modèles développés en interne, un registre de modèles sert souvent d’inventaire.

La classification des risques répartit ensuite les systèmes en niveaux selon leur objectif, leur autonomie, les personnes concernées et le coût des erreurs. Un modèle qui classe des documents internes nécessite un examen moins rigoureux qu’un modèle qui sélectionne des candidats à l’embauche ou contrôle des machines. Les niveaux supérieurs imposent des tests, des validations et une supervision humaine plus stricts.

La documentation rend les décisions vérifiables. Les fiches de modèle consignent l’usage prévu, les résultats d’évaluation et les limites connues, tandis que les dossiers de provenance des données indiquent l’origine des données d’entraînement et les licences ou consentements qui s’y appliquent. La reproductibilité doit figurer dans le même dossier : version exacte du jeu de données, modèle de base, version du code et paramètres utilisés pour chaque modèle candidat, afin qu’un évaluateur puisse retrouver les entrées de tout modèle déployé. Pour les modèles de vision entraînés sur Ultralytics Platform, chaque exécution consigne le modèle parent, la version d’Ultralytics, l’environnement hôte et, s’il est indiqué, le commit Git ; une version de jeu de données enregistrée fixe les images et les étiquettes exactes utilisées pour l’entraînement.

Les tests fournissent les preuves nécessaires à l’approbation. Des seuils d’acceptation sont fixés pour chaque cas d’utilisation avant l’obtention des résultats. Les tests évaluent la précision dans les sous-groupes pertinents pour détecter les biais de l’IA, la robustesse face à des entrées différentes, comme un faible éclairage ou un nouvel angle de caméra, et la sécurité, souvent au moyen d’une équipe rouge de l’IA. Le NCSC britannique et ses agences partenaires publient des recommandations pour le développement sécurisé de systèmes d’IA qui couvrent la conception, le développement, le déploiement et l’exploitation.

Après la mise en service, la surveillance du modèle suit les performances et la dérive des données. Une procédure de gestion des incidents définit qui peut suspendre un système ou revenir à une version précédente, et une procédure de retrait supprime les modèles et les données qui ne sont plus nécessaires. Les droits décisionnels relient ces contrôles : pour chaque système, la gouvernance désigne la personne qui approuve le déploiement, celle qui peut l’arrêter et celle qui accepte les risques subsistant après les tests.

Différences entre la gouvernance et les pratiques connexes#

• Réglementation : Loi imposée de l’extérieur. La gouvernance est le système interne mis en œuvre par une organisation ; c’est aussi la manière dont celle-ci montre qu’elle respecte la réglementation.
• Gestion des risques : Identification, mesure et traitement de risques précis. La gouvernance définit qui effectue ce travail, qui accepte les risques résiduels et comment les décisions sont consignées.
• MLOps : Les pipelines qui entraînent, déploient et maintiennent les modèles. La gouvernance définit les étapes de validation et les documents auxquels ces pipelines doivent satisfaire.
• Sécurité de l’IA : L’étude technique des moyens de faire en sorte que les systèmes d’IA se comportent comme prévu. La gouvernance détermine comment les conclusions sur la sécurité influent sur ce qu’une organisation est autorisée à mettre en production.