Fairness in AI

AI 공정성은 인종, 성별, 나이, 장애와 같은 민감한 특성 때문에 모델의 결정과 오류가 특정 사람들에게 체계적으로 불리하게 작용하지 않아야 한다는 요구사항이며, 이 요구사항을 측정하고 보장하는 데 사용되는 메트릭과 방법도 포함합니다. AI 편향은 문제를 가리킵니다. 대표성이 부족한 학습 데이터(데이터셋 편향)나 모델링 및 배포 방식(알고리즘 편향으로 인해 체계적인 왜곡이 발생할 수 있습니다. 공정성은 시스템을 평가하는 기준으로, 투명성과 책임성에 더해 AI 윤리의 핵심 원칙 중 하나입니다. 공정성에는 동시에 모두 충족할 수 없는 여러 공식 정의가 있습니다.

공정성 측정#

그룹 공정성 메트릭은 민감한 특성으로 구분한 그룹 간 모델의 동작을 비교합니다:

• 인구통계학적 동등성: 각 그룹이 대출 승인이나 면접 초대처럼 긍정적인 결정을 받는 비율이 동일합니다.
• 동등화된 오즈: 각 그룹의 참양성률과 거짓양성률이 동일합니다. Moritz Hardt, Eric Price, Nathan Srebro는 2016년 이 정의와 함께 참양성률만 같게 하는 더 약한 조건인 동등 기회를 정의했습니다.
• 그룹 내 보정: 예측 점수 0.7은 모든 그룹에서 동일한 70%의 결과율에 해당합니다.
• 개인 공정성: 유사한 개인에게 유사한 예측을 제공합니다. Cynthia Dwork와 동료들은 2012년에 이 정의를 공식화했습니다.

아래 코드는 기본 발생률이 다른 두 그룹을 대상으로 완벽하게 정확한 모델을 평가합니다:

import numpy as np

# Outcomes and a sensitive attribute for 10 applicants; group A has a higher base rate
y_true = np.array([1, 1, 1, 1, 0, 1, 1, 0, 0, 0])
group = np.array(["A"] * 5 + ["B"] * 5)

# A perfectly accurate model predicts every outcome correctly
y_pred = y_true.copy()

for g in ("A", "B"):
    in_group = group == g
    selection_rate = y_pred[in_group].mean()
    tpr = y_pred[in_group & (y_true == 1)].mean()  # true positive rate
    fpr = y_pred[in_group & (y_true == 0)].mean()  # false positive rate
    print(f"group {g}: selection rate {selection_rate:.0%}, TPR {tpr:.0%}, FPR {fpr:.0%}")

이 모델은 두 그룹 모두에서 참양성률 100%, 거짓양성률 0%로 동등화된 오즈를 충족하지만, A 그룹의 80%, B 그룹의 40%를 승인해 인구통계학적 동등성을 위반합니다. 선택률을 동일하게 만들려면 적어도 한 그룹에서 잘못된 결정을 내려야 합니다.

공정성 정의가 상충하는 이유#

Jon Kleinberg, Sendhil Mullainathan, Manish Raghavan은 2016년에, Alexandra Chouldechova는 2017년에 그룹 간 기본 발생률이 다를 때 완벽한 예측과 같은 퇴화 사례를 제외하면 분류기가 각 그룹 내에서 보정되는 동시에 거짓양성률과 거짓음성률도 같을 수 없음을 증명했습니다. COMPAS 재범 위험 평가 도구는 이러한 충돌이 실제로 나타나는 사례입니다. ProPublica는 2016년 재범하지 않은 흑인 피고인이 백인 피고인보다 고위험군으로 분류될 가능성이 거의 두 배 높다고 보고했습니다. 반면 도구 개발자는 두 그룹의 점수가 동일하게 보정되었다고 밝혔습니다. 두 분석 모두 옳았으므로 특정 애플리케이션에 사용할 공정성 메트릭을 선택하는 일은 기술적인 문제인 동시에 정책적인 결정입니다.

컴퓨터 비전에서의 공정성#

Joy Buolamwini와 Timnit Gebru가 수행한 Gender Shades 연구(2018)는 상용 성별 분류기 세 가지를 감사했습니다. 그 결과 피부색이 짙은 여성의 오류율은 최대 34.7%인 반면 피부색이 밝은 남성의 오류율은 최대 0.8%였습니다. 학습 이미지에서 특정 그룹의 대표성이 부족한 경우 얼굴 인식부터 피부색이 밝은 사람 위주로 구성된 피부과 데이터셋으로 학습한 피부 질환 의료 영상 분석 모델까지 유사한 격차가 나타납니다. 따라서 컴퓨터 비전 감사에서는 관련 하위 그룹별로 정밀도와 재현율을 별도로 보고하고, 이를 모델 카드에 기록합니다. 전체 정확도 하나만으로는 성능이 저조한 하위 그룹을 파악하지 못할 수 있기 때문입니다.

완화 전략#

개입 방법은 변경하는 머신러닝 파이프라인 단계에 따라 분류됩니다. 전처리 방법은 대표성 있는 데이터를 수집하고, 특정 목적의 데이터 증강 또는 합성 데이터로 데이터의 공백을 메우며, 대표성이 낮은 그룹의 비중을 높이도록 예제에 가중치를 다시 부여합니다. Ultralytics YOLO는 클래스에도 동일한 가중치 재부여 기능을 제공합니다. 기본값 0보다 큰 cls_pw 학습 인수를 설정하면 각 클래스의 손실에 역빈도를 해당 인수의 거듭제곱으로 계산한 가중치를 적용하므로 드문 클래스의 학습 비중이 커집니다.

학습 중 처리 방법은 손실 함수에 공정성 제약이나 페널티를 추가하거나 분포 강건 최적화를 사용해 성능이 가장 낮은 그룹의 손실을 최소화합니다. 후처리 방법은 학습 후 그룹별로 결정 임계값을 조정합니다. Hardt와 동료들이 동등화된 오즈를 달성하기 위해 제안한 방식입니다.

Fairlearn과 IBM AI Fairness 360 같은 오픈 소스 툴킷은 이러한 메트릭과 완화 방법을 구현합니다. 규정에서도 관련 측정을 점점 더 요구하고 있습니다. EU AI Act는 고위험 시스템 제공업체에 학습 데이터에서 발생 가능한 편향을 조사하도록 요구하며, 뉴욕시 현지법 144호는 2023년 7월부터 자동 채용 도구에 대한 독립적인 편향 감사를 매년 실시하도록 규정하고 있습니다.