AI의 편향성

인공지능 편향의 원인

AI 편향성은 AI의 고유한 특성이 아니라 이러한 시스템을 구축하는 데 사용되는 인간의 프로세스와 데이터에서 비롯됩니다. 그 원인을 이해하는 것이 편향성 완화의 핵심입니다:

• 데이터 세트 편향: 가장 일반적인 원인으로, 학습에 사용되는 데이터가 모델이 배포될 실제 인구 또는 상황을 대표하지 않을 때 발생합니다. 여기에는 역사적 편향(과거의 사회적 편견 반영), 측정 편향(그룹 간 일관되지 않은 데이터 수집), 대표성 편향(특정 그룹의 표본 부족), 주석에 주관적인 관점이 반영되는 데이터 라벨링 문제가 포함됩니다. 데이터 세트 편향의 영향을 이해하는 것은 비전 AI에 있어 매우 중요합니다.
• 알고리즘 편향: 알고리즘이 의도치 않게 특정 그룹에 불리한 메트릭을 최적화하거나 모델 설계가 모든 사람에게 해당되지 않는 가정을 하는 경우 등 알고리즘 자체에 의해 편향이 발생할 수 있습니다. 예를 들어, 특정 최적화 선택이 소수 하위 그룹에 대한 공정성을 희생하면서 전체 정확도를 우선시할 수 있습니다.
• 인간의 편견: 개발자와 사용자의 의식적 또는 무의식적 편견은 모델 설계, 데이터 선택, 결과 해석, 배포 결정에 영향을 미쳐 AI 수명 주기에 불공정성을 내재화할 수 있습니다.

실제 사례

AI의 편향성은 다양한 애플리케이션에서 나타날 수 있으며, 때로는 심각한 결과를 초래할 수도 있습니다:

• 얼굴 인식 시스템: NIST의 광범위한 테스트를 포함한 수많은 연구에 따르면 일부 얼굴 인식 기술은 특정 인구통계학적 그룹(예: 피부가 어두운 여성)의 경우 다른 그룹(예: 피부가 밝은 남성)에 비해 정확도가 현저히 낮은 것으로 나타났습니다. 이러한 불균형은 대표성이 없는 훈련 데이터 세트에서 비롯되는 경우가 많으며, 휴대폰 잠금 해제부터 법 집행에 이르기까지 다양한 분야에서 오인 및 불평등한 대우로 이어질 수 있습니다. 알고리즘 저스티스 리그와 같은 단체는 이러한 편견을 강조하고 이에 맞서 싸우기 위해 적극적으로 노력하고 있습니다.
• 의료 분야의 AI: 의료 이미지 분석이나 환자 위험 예측과 같은 작업에 사용되는 AI 모델은 과거 건강 데이터로부터 편견을 물려받을 수 있습니다. 진단 도구가 주로 한 인구 집단의 데이터로 학습된 경우, 소외된 집단에 대해서는 정확도가 떨어져 진단이 지연되거나 부적절한 치료 권고로 이어질 수 있습니다. 연구에 따르면 공정성을 적극적으로 고려하지 않을 경우 임상 알고리즘의 편향성이 발생할 위험이 있다고 합니다.

인공지능의 편향성과 관련 개념 구분하기

주로 공정성 및 윤리적 영향과 관련된 AI의 편향성을 머신러닝(ML)의 다른 관련 개념과 구별하는 것이 중요합니다:

• 데이터 세트 편향: AI 편향의 주요 원인이지만, 데이터 세트 편향은 구체적으로 데이터 자체의 대표성이 없는 특성을 말합니다. AI 편향성은 데이터 세트 편향, 알고리즘 선택 또는 인적 요인으로 인해 발생할 수 있는 시스템적 불공정성의 보다 광범위한 결과입니다.
• 알고리즘 편향: 데이터에서만 발생하는 편향과 달리 모델의 설계 또는 최적화 프로세스에 의해 발생하는 편향을 의미합니다. 이는 전반적인 AI 편향성에 기여하는 또 다른 잠재적 원인입니다.
• 편향-분산 트레이드오프: 모델 단순성(높은 편향, 잠재적으로 과소 적합으로 이어질 수 있는)과 모델 복잡성(높은 분산, 잠재적으로 과대 적합으로 이어질 수 있는) 사이의 긴장을 설명하는 ML의 핵심 통계적 개념입니다. 여기서 '편향'은 지나치게 단순한 가정으로 인한 모델 오류를 의미하며, AI 편향의 윤리적 또는 공정성 문제와는 구별됩니다.

인공지능 편향성 해결

AI 편향성을 완화하는 것은 AI 개발 수명 주기 전반에 걸쳐 다각적인 접근 방식이 필요한 지속적인 프로세스입니다:

• 데이터 큐레이션 및 증강: 다양하고 대표성 있는 데이터 세트를 적극적으로 수집합니다. 데이터 증강 및 잠재적인 합성 데이터 생성과 같은 기술을 활용하여 여러 그룹에 걸쳐 대표성의 균형을 맞출 수 있습니다. 다양한 데이터 원본에 대한 Ultralytics 데이터 집합 컬렉션과 같은 리소스를 살펴보세요.
• 공정성 지표 및 감사: 모델 평가 시 적절한 지표를 사용하여 공정성을 정의하고 측정하세요. 배포 전후에 여러 하위 그룹에 걸쳐 편향된 성과가 있는지 모델을 정기적으로 감사합니다.
• 알고리즘 선택 및 수정: 편향성이 적은 알고리즘을 선택하거나 기존 알고리즘을 수정하여 공정성 제약 조건을 통합합니다.
• 투명성 및 설명 가능성: 설명 가능한 AI(XAI) 기술을 사용하여 모델 행동을 이해하고 잠재적인 편향의 원인을 파악하세요. XAI 개념에 대해 자세히 알아보세요.
• 윤리 프레임워크 및 거버넌스: NIST AI 위험 관리 프레임워크와 같은 프레임워크를 참조하여 강력한 AI 윤리 지침과 거버넌스 구조를 구현하여 개발 및 배포를 안내하세요.

Ultralytics HUB와 같은 플랫폼은 신중한 데이터 세트 관리를 가능하게 하고, 사용자 지정 모델 학습을 용이하게 하며, 다음을 모니터링할 수 있게 함으로써 보다 공정한 AI 시스템 개발을 지원하는 도구를 제공합니다. Ultralytics YOLO 모델 성능을 모니터링할 수 있습니다. 책임감 있는 AI 개발에 접근하고 사회에 공평하게 혜택을 주는 기술을 개발하기 위해서는 공정성 원칙에 대한 인식을 구축하고 이를 포함시키는 것이 중요합니다( ACM FAccT 컨퍼런스 같은 포럼에서 자주 논의됨).