Affective Computing

정서 컴퓨팅은 인간의 감정과 스트레스, 참여도, 피로 같은 관련 상태를 인식하고 해석하며 이에 반응하거나 이를 모방하는 컴퓨팅 분야입니다. MIT Media Lab의 Rosalind Picard는 1995년 기술 보고서와 1997년 저서 Affective Computing에서 이 분야의 이름을 만들었습니다. 사람과 긴밀히 협업하는 컴퓨터에는 감정을 인식하고 표현하는 능력이 어느 정도 필요하다고 주장했으며, 그녀의 정서 컴퓨팅 그룹은 지금도 이 분야의 연구를 발표하고 있습니다. 얼굴이나 목소리로 감정을 추정하는 상용 시스템은 흔히 감정 AI라는 이름으로 판매됩니다.

신호와 감정 모델#

정서 시스템은 관찰 가능한 신호를 읽습니다. 얼굴 표정, 목소리의 어조와 리듬, 단어 선택, 자세와 몸짓, 웨어러블 센서에서 얻은 심박수와 피부 전도도 같은 생리적 측정값이 이에 해당합니다. 각 신호만으로는 의미가 모호하므로 여러 채널을 결합하는 멀티모달 AI 모델이 대개 단일 신호보다 신뢰할 수 있습니다.

감정을 표현하는 방식은 크게 두 가지입니다. 범주형 모델은 심리학자 Paul Ekman의 기본 감정 분류를 바탕으로 행복, 슬픔, 분노, 공포, 놀람, 혐오와 같은 이산 레이블을 지정합니다. Ekman과 Wallace Friesen이 1978년에 발표한 얼굴 동작 부호화 시스템은 미소를 지을 때 입꼬리를 당기는 동작처럼 개별 근육 움직임을 번호가 매겨진 동작 단위로 분류합니다. 많은 얼굴 분석 시스템은 먼저 이러한 동작 단위를 탐지합니다. 차원 모델은 대신 상태를 연속적인 축에 나타내며, 가장 일반적으로 쾌적함에서 불쾌함까지의 정서가와 차분함에서 흥분까지의 각성도를 사용합니다.

공개 데이터세트도 같은 구성을 따릅니다. 2013년 머신 러닝 챌린지를 위해 공개된 FER2013에는 이미지 분류를 위해 48 x 48픽셀 크기의 회색조 얼굴 이미지 35,887장이 포함되어 있으며, 일곱 가지 표정 레이블이 지정되어 있습니다. 2017년에 발표된 AffectNet은 웹에서 얼굴 이미지 100만 장 이상을 수집했습니다. 그중 약 절반에는 표정 범주와 정서가 및 각성도 점수가 수작업으로 주석 처리되었습니다.

이 분야는 정의가 더 명확한 여러 작업과 겹칩니다. 얼굴 인식은 인물이 누구인지 확인하고, 얼굴 표정 분석은 얼굴이 어떤 상태인지 설명합니다. 감성 분석은 텍스트 의견을 긍정 또는 부정으로 분류하므로 정서 시스템이 추정하는 기분 및 생리적 상태보다 목표 범위가 좁습니다. 대화형 AI는 모방 기능을 더합니다. 사용자의 감정적 어조를 따라 하는 챗봇이나 음성 비서는 공감을 모방합니다. 이로 인해 모델의 동조가 더 설득력 있게 느껴질 수 있으며, 이는 AI 아첨 성향과 관련되고 AI 정신증과 연관된 인간적 특성 중 하나입니다.

정서 컴퓨팅의 활용 분야#

운전자 모니터링은 가장 널리 배포된 애플리케이션 중 하나입니다. EU 일반 안전 규정에 따라 EU에서 판매되는 모든 신차는 2024년 7월부터 졸음 및 주의 경고 기능을, 2026년 7월부터 고급 운전자 주의 분산 경고 기능을 갖춰야 합니다. 카메라 기반 운전자 모니터링 시스템은 감긴 눈, 하품, 머리 자세, 휴대전화 사용을 감지해 이 규정을 충족합니다. Ultralytics YOLO26 모델은 운전자 모니터링을 위해 이러한 단서를 탐지하도록 학습할 수 있으며, 자세 추정은 고개를 숙이거나 도로 반대쪽으로 돌린 상태를 드러내는 머리와 몸의 키포인트를 추가합니다. 이러한 시스템은 피로와 운전자 주의력을 추정하며, 이는 안전에 직접적인 영향을 미치는 관찰 가능한 상태입니다.

미디어 연구는 오랫동안 이어져 온 또 다른 활용 분야입니다. Picard의 연구실에서 2009년에 분사해 2021년 운전자 모니터링 기업 Smart Eye에 인수된 Affectiva는 광고와 영화에 대한 관객 반응을 프레임 단위로 측정하고 여러 시청자에 걸쳐 집계하는 얼굴 코딩 도구를 만들었습니다. 고객센터는 음성 인식과 음성 기반 감정 분석을 적용해 불만을 표현하는 고객에게 표시를 달고 상담원에게 실시간 코칭을 제공합니다. 보건 연구자들은 웨어러블 신호로 스트레스를 추적하고 발작을 감지합니다.

과학적·법적 한계#

표정에서 내면의 감정으로 넘어가는 과정은 추론이며, 논쟁의 대상입니다. Lisa Feldman Barrett이 주도한 2019년 검토 연구는 1,000편이 넘는 연구를 검토한 결과, 얼굴 움직임이 사람, 문화, 상황 전반에서 특정 감정과 신뢰할 수 있게 대응하지 않는다고 결론 내렸습니다. 화가 났을 때 찡그리는 빈도는 통념이 시사하는 것보다 낮으며, 화가 난 것 외에도 여러 이유로 찡그립니다. 연출된 얼굴이나 웹에서 수집한 얼굴로 학습한 시스템은 데이터세트 편향도 물려받아 연령대, 피부색, 문화에 따라 정확도가 고르지 않으며, 신경다양성이 있는 사람은 학습 데이터에 포함되지 않은 방식으로 감정을 표현할 수 있습니다. Microsoft는 감정의 정의에 관한 과학적 합의가 부족하고 이러한 기능에 개인정보 보호 우려가 있다는 이유로 2022년 Azure Face 서비스의 감정 추론 기능을 폐지했습니다.

법률은 이제 명확한 경계를 설정합니다. EU AI Act 제5조 1항 f호는 의료 또는 안전 목적을 제외하고 2025년 2월 2일부터 직장 및 교육 기관에서 사람의 감정을 추론하는 AI 시스템을 금지했습니다. 그 외 환경에서의 감정 인식은 고위험으로 분류되며, EU의 2026년 디지털 옴니버스에 따라 의무 적용 시점이 2027년 12월로 연기되었습니다. 또한 2026년 8월부터 이러한 시스템을 배포하는 사람은 시스템의 영향을 받는 사람에게 이를 알려야 합니다. 정서 시스템은 얼굴, 목소리, 생리적 신호를 처리하므로 생체 데이터에 관한 데이터 개인정보 보호 규칙도 적용됩니다. 이에 따라 영상은 기기에서 처리하고 파생된 알림만 보관하는 엣지 AI 설계가 유리합니다.