Algorithmic Bias

アルゴリズムバイアスとは、コンピューターシステムで体系的かつ再現性のある誤りが生じ、採用、融資、警察活動、医療などで、ある集団を別の集団より優遇するような不公平な結果が生み出されることです。この用語は、手書きの信用スコア計算式からディープニューラルネットワークまで、あらゆる自動意思決定手順を指します。欠陥のある規則がすべての事例に適用されるため、同じ誤りが何千、何百万もの意思決定で繰り返されます。機械学習（ML）に関する議論では、アルゴリズムバイアスとAIにおけるバイアスは同義語です。アルゴリズムバイアスは、より古く広い用語で、通常は人々に対して運用中のシステムが行う判断を指します。

アルゴリズムバイアスの3つの起源#

Batya FriedmanとHelen Nissenbaumは、1996年の論文「コンピューターシステムにおけるバイアス」で、バイアスを発生源に基づく3種類に分類しました。この枠組みは現在も使われています。

• 既存のバイアス：システムが、社会や過去の記録にすでに存在していた偏見を取り込みます。
• 技術的バイアス：関心対象の量をどの変数で代用するかといった設計上の選択によって、不公平が生じます。
• 創発的バイアス：導入後に、対象集団や状況、あるいはシステム自身が将来のデータに及ぼす影響が変化すると、バイアスが発生します。

Amazonは、履歴書に「women's」という語が含まれる場合に減点するよう学習した実験的な採用モデルを廃止しました。これは、主に男性が応募した過去10年分の履歴書で訓練されたことによる、既存のバイアスの事例です。広く使われている米国の医療アルゴリズムには、技術的バイアスが見られます。このアルゴリズムは患者の将来の医療費を健康上のニーズの代用として予測していました。同程度の病状でも黒人患者には医療費があまり使われていなかったため、追加ケアの対象として紹介される割合が低くなっていました。Science誌に掲載された2019年の研究によると、このバイアスを修正すれば、追加支援が必要と判定される黒人患者の割合は17.7%から46.5%に上昇します。予測型警察活動は、次のようなフィードバックループによる創発的バイアスの典型例です。

研究者らは2018年、このループが暴走する可能性を示しました。パトロールが派遣先でより多くの事件を見つけると、新たな記録がその順位付けを裏付けます。その結果、他の地域の犯罪率が同じでも、モデルは同じ地域にパトロールを再び派遣します。

公平な判断にトレードオフが伴う理由#

2016年、ProPublicaは米国の裁判所で使われるリスクスコアCOMPASを分析し、再犯しなかった黒人被告人が、白人被告人に比べて高リスクと判定される割合がほぼ2倍（45%対23%）であることを明らかにしました。提供元は、スコアが両集団で同等に較正されており、人種にかかわらず同じスコアが同じ再犯率に対応すると回答しました。どちらの主張も正しかったのです。その後、Kleinberg、Mullainathan、Raghavanらの研究者は、2つの集団で基礎率が異なる場合、不完全なスコアでは両集団について同時に較正を満たし、かつ偽陽性率と偽陰性率を等しくすることはできないと証明しました。次のシミュレーションは、完全に較正されたスコアと共通のしきい値を使った場合の矛盾を示しています。

import numpy as np

rng = np.random.default_rng(0)

# True risk per person; group B has a higher base rate than group A
risks = {"A": rng.beta(2, 5, 100_000), "B": rng.beta(3, 4, 100_000)}

for name, risk in risks.items():
    # Outcomes follow the risk exactly, so the score is perfectly calibrated in both groups
    outcome = rng.random(risk.size) < risk
    flagged = risk > 0.5  # one shared decision threshold

    # False positive rate: share of people without the outcome who were flagged anyway
    fpr = flagged[~outcome].mean()
    print(f"group {name}: base rate {outcome.mean():.2f}, false positive rate {fpr:.2f}")

集団Aの基礎率は0.29で偽陽性率は0.06、集団Bの基礎率は0.43で偽陽性率は0.23です。同じ較正済みスコアとしきい値を使うと、集団Bでは実際に結果が発生しない人が、ほぼ4倍の頻度で該当者と判定されます。スコアを意思決定に変換するすべてのシステムは、この選択に直面します。Ultralytics YOLO26は、すべての検出に1つの信頼度しきい値（予測時のデフォルトは0.25のconf）を適用します。そのため、訓練データに少ない歩行者のように検出スコアが低くなる集団では、同じ設定でもより多くの検出が失われます。

アルゴリズムバイアスと関連用語#

• データセットバイアス：代表性のないサンプリングなど、データ自体にある欠陥です。データセットバイアスは、設計上の選択や導入後の影響と並ぶ、アルゴリズムバイアスの原因の1つです。
• AIの公平性：人口統計的均衡や誤り率の平等などの公平性基準と、それを満たす方法を定義する分野です。
• データドリフト：導入後に入力データが変化することです。導入時のテストで公平性が確認されたモデルにも、創発的バイアスが生じる可能性があります。

アルゴリズムバイアスの監査と低減#

監査では、FairlearnやIBM AI Fairness 360などのオープンソースツールキットを使い、グループ間の結果とエラー率を比較します。修正は3段階で行います。トレーニングデータの重み付けや再サンプリングを行う前処理、トレーニング目的関数に公平性制約を加える処理内の対策、グループごとに意思決定しきい値を調整する後処理です。継続的なモデルモニタリングでは、リリース前の監査で見逃した新たなバイアスを検出します。規制でもこうした監査がますます求められています。2023年7月5日から施行されているニューヨーク市の現地法第144号は、過去1年以内に独立監査人がバイアスを確認していない自動採用ツールの使用を雇用主に禁止しています。また雇用主は、性別や人種・民族別の選考率を比較するインパクト比を含む概要を公開する必要があります。