Affective Computing

L’informatique affective est le domaine informatique qui reconnaît, interprète et simule les émotions humaines et les états associés, comme le stress, l’engagement et la fatigue, ou y répond. Rosalind Picard, du MIT Media Lab, a nommé ce domaine dans un rapport technique de 1995 et dans son livre Affective Computing, publié en 1997. Elle soutenait que les ordinateurs qui interagissent étroitement avec les personnes doivent pouvoir reconnaître et exprimer les émotions ; son groupe de recherche en informatique affective publie toujours dans ce domaine. Les systèmes commerciaux qui estiment les émotions à partir des visages ou des voix sont souvent commercialisés comme de l’IA émotionnelle.

Signaux et modèles émotionnels#

Les systèmes affectifs analysent des signaux observables : expressions faciales, ton et rythme de la voix, choix des mots, posture et gestes, ainsi que mesures physiologiques comme le rythme cardiaque et la conductance cutanée, relevées par des capteurs portables. Chaque signal étant ambigu à lui seul, les modèles d’IA multimodale qui combinent plusieurs canaux sont généralement plus fiables que chaque canal pris isolément.

Deux façons de représenter les émotions dominent. Les modèles catégoriels attribuent des étiquettes discrètes, souvent fondées sur les émotions fondamentales du psychologue Paul Ekman : joie, tristesse, colère, peur, surprise et dégoût. Le Facial Action Coding System d’Ekman et Wallace Friesen, publié en 1978, décompose les expressions en unités d’action numérotées correspondant aux mouvements musculaires individuels, comme le mouvement des commissures des lèvres d’un sourire. De nombreux systèmes d’analyse faciale détectent d’abord ces unités. Les modèles dimensionnels situent plutôt un état sur des axes continus, le plus souvent la valence (d’agréable à désagréable) et l’activation (de calme à excité).

Les jeux de données publics suivent la même répartition. FER2013, publié pour un défi d’apprentissage automatique de 2013, contient 35 887 images de visages en niveaux de gris de 48 x 48 pixels, étiquetées selon sept expressions pour la classification d’images. AffectNet, publié en 2017, rassemble plus d’un million d’images de visages provenant du Web ; environ la moitié ont été annotées manuellement avec des catégories d’expressions et des scores de valence et d’activation.

Le domaine recoupe plusieurs tâches mieux définies. La reconnaissance faciale établit l’identité d’une personne, tandis que l’analyse des expressions faciales décrit ce que fait son visage. L’analyse des sentiments classe les opinions exprimées dans le texte comme positives ou négatives : elle vise un champ plus restreint que les humeurs et les états physiologiques estimés par les systèmes affectifs. L’IA conversationnelle ajoute la dimension de la simulation : un agent conversationnel ou un assistant vocal qui reprend le ton émotionnel de l’utilisateur simule l’empathie. Cette imitation rend l’obséquiosité de l’IA plus persuasive et constitue l’un des traits humains associés à la psychose liée à l’IA.

Applications de l’informatique affective#

La surveillance des conducteurs est l’une des applications les plus répandues. En vertu du règlement général de l’UE sur la sécurité, tout véhicule neuf vendu dans l’UE doit être équipé d’un avertissement de somnolence et d’inattention depuis juillet 2024, et d’un avertissement avancé de distraction du conducteur depuis juillet 2026. Les systèmes de surveillance des conducteurs par caméra répondent à ces règles en détectant les yeux fermés, les bâillements, la position de la tête et l’usage du téléphone. Les modèles Ultralytics YOLO26 peuvent être entraînés à détecter ces indices pour la surveillance des conducteurs, et l’estimation de pose ajoute des points clés de la tête et du corps qui révèlent un affaissement ou une tête tournée à l’opposé de la route. Ces systèmes estiment la fatigue et l’attention du conducteur, des états observables ayant des conséquences directes sur la sécurité.

La recherche sur les médias constitue une autre application de longue date. Issue du laboratoire de Picard en 2009 et acquise en 2021 par Smart Eye, une entreprise spécialisée dans la surveillance des conducteurs, Affectiva a développé des outils de codage facial qui mesurent image par image les réactions du public aux publicités et aux films, puis les agrègent sur l’ensemble des spectateurs. Les centres de contact utilisent la reconnaissance vocale et l’analyse des émotions par la voix pour repérer les appelants frustrés et guider les agents en temps réel. Les chercheurs en santé utilisent des signaux portables pour suivre le stress et détecter les crises d’épilepsie.

Limites scientifiques et juridiques#

Le passage de l’expression faciale au ressenti intérieur relève d’une inférence, et cette inférence est controversée. Une revue de la littérature de 2019 dirigée par Lisa Feldman Barrett a examiné plus de 1 000 études et conclu que les mouvements du visage ne correspondent pas de manière fiable à des émotions précises d’une personne à l’autre, selon les cultures et les situations : les gens froncent les sourcils lorsqu’ils sont en colère moins souvent que le stéréotype ne le laisse entendre, et ils le font pour de nombreuses raisons autres que la colère. Les systèmes entraînés sur des visages posés ou recueillis sur le Web héritent également des biais des jeux de données, avec une précision inégale selon les groupes d’âge, les teintes de peau et les cultures, et les personnes neurodivergentes peuvent exprimer leurs émotions d’une manière que les données d’entraînement ne couvrent pas. Microsoft a retiré en 2022 les fonctionnalités d’inférence des émotions de son service Azure Face, invoquant l’absence de consensus scientifique sur la définition des émotions et les préoccupations en matière de confidentialité liées à de telles capacités.

La loi fixe désormais des limites claires. Depuis le 2 février 2025, l’article 5(1)(f) du règlement européen sur l’IA interdit les systèmes d’IA qui infèrent les émotions des personnes sur leur lieu de travail ou dans les établissements d’enseignement, sauf pour des raisons médicales ou de sécurité. La reconnaissance des émotions dans les autres contextes est classée à haut risque ; ces obligations, désormais reportées à décembre 2027 par le paquet législatif européen de 2026 intitulé Digital Omnibus, et le devoir d’informer les personnes exposées à un tel système s’appliquant depuis août 2026. Les systèmes affectifs traitant des visages, des voix et des signaux physiologiques, les règles de confidentialité des données relatives aux données biométriques s’appliquent également. Cela favorise les conceptions d’IA en périphérie, qui traitent les vidéos sur l’appareil et ne conservent que l’alerte dérivée.