Bias in AI

AI 편향이라고도 하는 AI의 편향은 인공지능(AI) 시스템에서 일부 집단에 덜 정확하거나 덜 공정한 결과를 지속해서 생성하는 오류입니다. 흔히 피부색, 성별, 연령, 방언, 소득 등을 기준으로 나타납니다. 동일한 집단이 반복해서 더 나쁜 결과를 받는 일관된 현상이므로 무작위 오류와 다릅니다. 일반적으로 AI 편향은 알고리즘 편향과 같은 의미로 사용됩니다. 알고리즘 편향은 더 오래된 용어로, 학습을 전혀 사용하지 않는 고정 수식과 점수 규칙의 자동화된 의사결정도 포함합니다. 편향은 머신러닝(ML) 시스템 구축의 모든 단계에서 발생할 수 있으므로, AI 윤리 프레임워크에서는 편향을 전체 수명 주기에 걸친 속성으로 다룹니다.

편향의 원인#

NIST 보고서 인공지능 편향 식별 및 관리를 위한 표준을 향하여(SP 1270)는 AI 편향을 세 가지 범주로 구분합니다. 제도와 역사에서 비롯되는 시스템적 편향, 데이터와 알고리즘에서 비롯되는 통계적·계산적 편향, 시스템을 구축하고 사용하는 사람에게서 비롯되는 인간 편향입니다. 일반적인 ML 파이프라인에서는 이러한 범주가 다음의 특정 단계에서 나타납니다.

• 표현 및 데이터셋 편향: 학습 데이터에서 드물게 나타나는 집단은 더 나쁜 예측 결과를 얻습니다. 북미와 유럽의 사진 위주로 학습한 컴퓨터 비전 모델은 다른 지역의 객체와 장면을 덜 정확하게 인식합니다.
• 측정: 특성이나 라벨이 특정 집단을 덜 정확하게 측정합니다. 맥박 산소 측정기는 피부색이 짙은 환자의 혈중 산소를 실제보다 높게 추정합니다. 2020년 New England Journal of Medicine에 발표된 연구에서는 흑인 환자의 숨겨진 저산소 상태가 백인 환자보다 거의 세 배 더 자주 발견되지 않았습니다.
• 라벨링: 주석 작업자는 모델이 학습하는 라벨에 자신의 판단을 반영합니다. 혐오 표현 탐지를 조사한 2019년 연구에 따르면, 널리 사용되는 데이터셋에서는 아프리카계 미국인 영어로 작성된 트윗이 공격적인 표현으로 훨씬 더 자주 라벨링되었습니다. 해당 데이터로 학습한 모델은 그런 트윗을 다른 트윗보다 최대 두 배 더 자주 표시했습니다.
• 모델링 및 평가: 평균 오류를 최소화하면 다수 집단에 유리해지며, 단일 종합 점수는 성능이 낮은 집단을 감출 수 있습니다. 모델이 우연히 집단 소속과 상관관계가 있는 지름길 특성을 학습할 수도 있습니다.
• 배포: 테스트하지 않은 집단이나 맥락에서 모델을 사용하거나, 모델 출력이 이후 학습 데이터에 영향을 주면 시간이 지나면서 새로운 편향이 생깁니다.

실제 사례#

• Gender Shades: 2018년 감사 결과, 상용 성별 분류기는 피부색이 짙은 여성을 최대 34.7%의 비율로 오분류했으며, 피부색이 밝은 남성의 오분류율은 최대 0.8%였습니다.
• 얼굴 인식: NIST가 2019년에 얼굴 인식 알고리즘을 평가한 결과, 여러 알고리즘에서 일부 인구통계 집단의 오탐률이 10~100배 더 높았습니다.
• 보행자 탐지: 운전 데이터셋의 보행자를 피부색별로 주석 처리한 2019년 연구에서는 객체 탐지 모델이 피부색이 짙은 보행자를 덜 정확하게 탐지했습니다. 시간대와 가림 현상으로는 이러한 격차를 설명할 수 없었습니다.
• 피부과 AI: 밝은 피부 이미지 위주로 학습한 피부 병변 분류기는 다양한 임상 이미지 세트로 테스트했을 때 어두운 피부에서 성능이 더 낮았습니다. 다양한 이미지로 미세 조정하자 격차가 줄어들었습니다.

편향 측정#

세분화 평가를 통해 각 집단별로 같은 지표를 계산하면 편향이 드러나며, 모델 카드에서도 이를 권장합니다. 다음 예시에서는 환자의 5%를 차지하는 B 집단의 센서가 실제보다 1.0 단위 높게 측정합니다. 이는 맥박 산소 측정기 문제와 유사합니다.

import numpy as np
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import train_test_split

rng = np.random.default_rng(0)
group_b = rng.random(20000) < 0.05  # 5% of patients belong to group B
oxygen = rng.normal(size=20000)  # true blood oxygen, standardized
y = oxygen < 0  # condition to detect: low oxygen

# The sensor reads 1.0 too high for group B (measurement bias)
reading = (oxygen + 1.0 * group_b).reshape(-1, 1)
x_tr, x_te, y_tr, y_te, _, g_te = train_test_split(reading, y, group_b, random_state=0)

model = LogisticRegression()
model.fit(x_tr, y_tr)
pred = model.predict(x_te)

# Disaggregated evaluation: score each group separately
print(f"overall accuracy: {np.mean(pred == y_te):.3f}")
print(f"group A accuracy: {np.mean(pred[~g_te] == y_te[~g_te]):.3f}")
print(f"group B accuracy: {np.mean(pred[g_te] == y_te[g_te]):.3f}")

모델의 전체 점수는 0.967이고 A 집단에서는 0.981이지만, 수치가 부풀려져 저산소 사례가 가려지는 B 집단에서는 0.706에 불과합니다. 집단 간 거짓 음성률을 동일하게 유지하는 것과 같은 집단별 공정성 지표는 이러한 검사를 AI의 공정성 측면에서 구체화합니다.

편향 완화#

완화는 데이터에서 시작됩니다. 대표성이 낮은 그룹의 예시를 더 수집하고, 잘못된 측정값과 레이블을 수정하며, 실제 예시가 부족한 경우 데이터 증강 또는 합성 데이터를 추가합니다. 학습 과정에서는 희귀 그룹에 더 큰 가중치를 부여하거나 해당 그룹을 재표본 추출하고, 공정성 제약 조건을 추가할 수 있으며, 후처리 과정에서는 결정 임계값을 조정할 수 있습니다. Ultralytics Platform은 데이터셋의 모든 클래스에 대한 어노테이션 수를 차트로 표시하며, YOLO26 학습에서 사용하는 cls_pw 인수는 분류 손실에 클래스 빈도의 역수를 해당 거듭제곱으로 적용해 가중치를 부여하므로 희귀 클래스의 비중이 커집니다. NIST AI 위험 관리 프레임워크는 조직이 시스템 수명 주기 전반에 걸쳐 편향을 측정하도록 요구하며, EU AI Act 제10조는 고위험 AI 시스템 제공자가 학습, 검증 및 테스트 데이터를 살펴 잠재적 편향을 확인하도록 규정합니다.

AI에서의 편향과 다른 의미의 편향#

• 편향-분산 트레이드오프: 통계적 편향은 데이터의 패턴을 포착하기에는 모델이 지나치게 단순해서 발생하는 오류이며, 그 결과 모든 그룹에서 동일하게 과소적합이 발생합니다.
• 편향 파라미터: 신경망에서 각 뉴런의 편향은 가중 입력에 더해지는 학습 가능한 오프셋으로, 선형 방정식의 절편 항에 해당합니다.