Fairness in AI

AIの公平性とは、人種、性別、年齢、障害などのセンシティブ属性を理由に、モデルの判断や誤りが特定の人々に体系的な不利益をもたらさないという要件と、その要件を測定・適用するためのメトリクスや手法を指します。AIのバイアスは問題そのものを表す用語です。代表性のない学習データ（データセットバイアス）や、モデリングおよびデプロイの選択（アルゴリズムバイアス）によって、体系的な偏りが生じる可能性があります。公平性とは、システムを評価する基準です。透明性とアカウンタビリティとともに、AI倫理の中核原則の1つですが、形式的な定義は複数あり、すべてを同時に満たすことはできません。

公平性の測定#

グループ公平性のメトリクスは、センシティブ属性によって定義されたグループ間でモデルの動作を比較します。

• 人口統計学的パリティ: 融資承認や面接への招待など、各グループが肯定的な判断を受ける割合が同じであることです。
• 均等化オッズ: 各グループで真陽性率と偽陽性率の両方が同じであることです。Moritz Hardt、Eric Price、Nathan Srebroは2016年にこの概念を定義し、真陽性率のみを等しくする、より弱い条件である均等機会も提案しました。
• グループ内キャリブレーション: 予測スコア0.7が、すべてのグループで同じ70%の結果率に対応することです。
• 個人公平性: 類似した個人には類似した予測を行うことです。Cynthia Dworkらは2012年にこの定義を形式化しました。

以下のコード片では、ベースレートが異なる2つのグループに対する完全に正確なモデルを評価します。

import numpy as np

# Outcomes and a sensitive attribute for 10 applicants; group A has a higher base rate
y_true = np.array([1, 1, 1, 1, 0, 1, 1, 0, 0, 0])
group = np.array(["A"] * 5 + ["B"] * 5)

# A perfectly accurate model predicts every outcome correctly
y_pred = y_true.copy()

for g in ("A", "B"):
    in_group = group == g
    selection_rate = y_pred[in_group].mean()
    tpr = y_pred[in_group & (y_true == 1)].mean()  # true positive rate
    fpr = y_pred[in_group & (y_true == 0)].mean()  # false positive rate
    print(f"group {g}: selection rate {selection_rate:.0%}, TPR {tpr:.0%}, FPR {fpr:.0%}")

このモデルは、両グループで真陽性率が100%、偽陽性率が0%となり、均等化オッズを満たします。それでも、グループAの80%、グループBの40%を承認するため、人口統計学的パリティには違反します。選択率を同じにするには、少なくとも一方のグループで誤った判断をする必要があります。

公平性の定義が相反する理由#

Jon Kleinberg、Sendhil Mullainathan、Manish Raghavanは2016年に、Alexandra Chouldechovaは2017年に、グループ間でベースレートが異なる場合、退化した状況（完全な予測など）を除き、分類器は各グループ内でキャリブレーションを満たし、かつ偽陽性率と偽陰性率を等しくすることはできないと証明しました。再犯リスク評価ツールCOMPASは、この相反を実例で示しています。ProPublicaは2016年、再犯しなかった黒人被告が白人被告の約2倍の割合で高リスクと判定されていたと報告しました。一方、ツールの開発元は、両グループでスコアが同じようにキャリブレーションされていると示しました。どちらの分析も正しいため、用途に応じた公平性メトリクスの選択は、技術的な判断であると同時に政策上の判断でもあります。

コンピュータービジョンにおける公平性#

Joy BuolamwiniとTimnit GebruによるGender Shades研究（2018年）では、商用の性別分類器3種を監査し、肌の色が濃い女性の誤り率が最大34.7%であるのに対し、肌の色が明るい男性では最大でも0.8%であることを明らかにしました。学習画像で十分に代表されていないグループがあると、顔認識から、肌の色が明るい人を中心とする皮膚科データセットで学習した皮膚疾患の医用画像解析モデルまで、同様の格差が現れます。そのため、コンピュータービジョンの監査では、関連するサブグループごとに適合率と再現率を別々に報告し、モデルカードに記録します。全体の精度だけでは、特定のサブグループで性能が低いことが隠れる可能性があるためです。

軽減策#

介入は、機械学習パイプラインのどの段階を変更するかによって分類されます。前処理手法では、代表的なデータを収集し、対象を絞ったデータ拡張や合成データで不足を補い、過小評価されているグループの例の重みを増やします。Ultralytics YOLOではクラスにも同じ重み付けを適用できます。cls_pw学習引数をデフォルトの0より大きく設定すると、各クラスの損失に逆頻度をその値でべき乗した重みが適用され、希少クラスが学習でより重視されます。

学習中の処理では、損失関数に公平性制約やペナルティを追加するか、分布ロバスト最適化を使って、最も性能の低いグループの損失を最小化します。後処理では、学習後にグループごとの判断しきい値を調整します。これはHardtらが均等化オッズを達成する方法として提案したアプローチです。

FairlearnやIBMのAI Fairness 360などのオープンソースツールキットは、これらのメトリクスと緩和策を実装しています。規制による測定要件も増えています。EU AI Actでは、高リスクシステムのプロバイダーに対し、学習データのバイアスの可能性を調査するよう求めています。ニューヨーク市のLocal Law 144では、2023年7月以降、自動採用ツールに対する年次の独立バイアス監査が義務付けられています。