Algorithmic Bias

알고리즘 편향은 컴퓨터 시스템에서 발생하는 체계적이고 반복 가능한 오류로, 채용, 대출, 치안 또는 의료 분야에서 특정 집단을 다른 집단보다 우대하는 것과 같은 불공정한 결과를 초래합니다. 이 용어는 사람이 작성한 신용 점수 산정 공식부터 심층 신경망까지 모든 자동화된 의사결정 절차를 아우릅니다. 결함 있는 규칙 하나가 모든 사례에 적용되므로 동일한 오류가 수천 또는 수백만 건의 결정에서 반복됩니다. 머신러닝 (ML)에 관한 논의에서 알고리즘 편향과 AI 편향은 동의어입니다. 알고리즘 편향은 더 오래되고 포괄적인 용어이며, 일반적으로 배포된 시스템이 사람에 대해 내리는 결정을 가리킵니다.

알고리즘 편향의 세 가지 기원#

Batya Friedman과 Helen Nissenbaum은 1996년 논문 "컴퓨터 시스템의 편향"에서 편향이 발생하는 원천에 따라 세 가지 유형으로 분류했습니다. 이 체계는 오늘날에도 사용됩니다.

• 기존 편향: 시스템이 사회나 과거 기록에 이미 존재했던 편견을 흡수합니다.
• 기술적 편향: 관심 대상의 대리 변수로 어떤 변수를 선택하는지와 같은 설계 결정이 불공정성을 초래합니다.
• 발현 편향: 배포 후 모집단, 맥락 또는 시스템이 미래 데이터에 미치는 영향이 바뀌면서 편향이 나타납니다.

Amazon은 실험적 채용 모델이 "women's"라는 단어가 포함된 이력서에 불이익을 주도록 학습된 뒤 해당 모델을 폐기했습니다. 이는 기존 편향의 사례입니다. 모델은 주로 남성이 제출한 10년 치 이력서로 학습되었습니다. 널리 사용된 미국 의료 알고리즘은 기술적 편향을 보여 줍니다. 이 알고리즘은 환자의 미래 의료비를 건강상 필요의 대리 변수로 예측했습니다. 같은 수준의 질병을 가진 흑인 환자에게 지출된 비용이 더 적었기 때문에, 이들에게 추가 치료를 권하는 빈도도 낮았습니다. 2019년 Science 연구에 따르면 편향을 바로잡으면 추가 지원이 필요한 것으로 분류되는 흑인 환자의 비율이 17.7%에서 46.5%로 높아집니다. 예측 치안은 피드백 루프를 통해 나타나는 발현 편향의 대표적인 사례입니다.

연구자들은 2018년에 이 루프가 악순환으로 이어질 수 있음을 보였습니다. 순찰대가 배치된 지역에서 더 많은 사건을 발견하면 새로운 기록이 기존 순위를 확증하고, 범죄율이 다른 지역과 같더라도 모델은 순찰대를 같은 동네로 다시 보냅니다.

공정한 결정에 상충 관계가 발생하는 이유#

2016년 ProPublica는 미국 법원에서 사용되는 위험 점수인 COMPAS를 분석한 결과, 재범하지 않은 흑인 피고인이 백인 피고인보다 고위험군으로 분류될 가능성이 거의 두 배 높다고 밝혔습니다(45% 대 23%). 공급업체는 두 집단에서 점수가 똑같이 보정되어 있다고 답했습니다. 즉, 점수에 해당하는 재범률은 인종과 관계없이 같다는 의미입니다. 두 주장은 모두 사실이었습니다. Kleinberg, Mullainathan, Raghavan을 포함한 연구자들은 두 집단의 기본 발생률이 다르면 완벽하지 않은 점수는 두 집단 모두에서 보정되면서 거짓 양성률과 거짓 음성률까지 같게 만들 수 없다는 점을 증명했습니다. 다음 시뮬레이션은 완벽하게 보정된 점수와 하나의 공통 임계값을 사용했을 때 발생하는 충돌을 보여 줍니다.

import numpy as np

rng = np.random.default_rng(0)

# True risk per person; group B has a higher base rate than group A
risks = {"A": rng.beta(2, 5, 100_000), "B": rng.beta(3, 4, 100_000)}

for name, risk in risks.items():
    # Outcomes follow the risk exactly, so the score is perfectly calibrated in both groups
    outcome = rng.random(risk.size) < risk
    flagged = risk > 0.5  # one shared decision threshold

    # False positive rate: share of people without the outcome who were flagged anyway
    fpr = flagged[~outcome].mean()
    print(f"group {name}: base rate {outcome.mean():.2f}, false positive rate {fpr:.2f}")

그룹 A의 기본 발생률은 0.29이고 거짓 양성률은 0.06이며, 그룹 B의 기본 발생률은 0.43이고 거짓 양성률은 0.23입니다. 동일하게 보정된 점수와 임계값을 사용해도 그룹 B에서는 결과가 발생하지 않는 사람이 거의 네 배 더 자주 표시됩니다. 점수를 의사결정으로 바꾸는 모든 시스템은 이런 선택에 직면합니다. Ultralytics YOLO26은 모든 감지에 하나의 신뢰도 임계값(예측의 기본값은 0.25인 conf)을 적용하므로, 학습 데이터에서 드물게 나타나는 보행자처럼 감지 점수가 낮은 집단은 같은 설정에서도 더 많은 감지를 놓치게 됩니다.

알고리즘 편향과 관련 용어 비교#

• 데이터셋 편향: 대표성이 없는 표본 추출과 같이 데이터 자체에 존재하는 결함입니다. 데이터셋 편향은 설계 결정 및 배포 효과와 더불어 알고리즘 편향의 원인 중 하나입니다.
• AI 공정성: 인구통계학적 동등성이나 동일한 오류율과 같은 공정성 기준 및 이를 충족하는 방법을 정의하는 분야입니다.
• 데이터 드리프트: 배포 후 입력 데이터가 변하는 현상으로, 출시 시점에는 공정성 테스트를 통과한 모델에서도 발현 편향을 일으킬 수 있습니다.

알고리즘 편향 감사 및 완화#

감사에서는 Fairlearn과 IBM AI Fairness 360 같은 오픈 소스 툴킷을 사용해 집단별 결과와 오류율을 비교합니다. 수정은 세 단계에서 이루어집니다. 학습 데이터에 가중치를 다시 부여하거나 재표본화하는 전처리, 학습 목표에 공정성 제약을 추가하는 학습 중 처리, 집단별 결정 임계값을 조정하는 후처리입니다. 지속적인 모델 모니터링은 출시 전 감사에서 발견하지 못한 새로운 편향을 포착합니다. 규정에서도 이러한 감사를 점점 더 요구하고 있습니다. 2023년 7월 5일부터 시행된 뉴욕시 지방 조례 144호는 독립 감사자가 지난 1년 이내에 자동 채용 도구의 편향을 검사하고, 고용주가 성별 및 인종 또는 민족별 선발률을 비교하는 영향 비율을 포함한 요약을 공개하지 않는 한 해당 도구를 사용하지 못하도록 합니다.