Algorithmic Bias

Алгоритмическая предвзятость — это систематическая и воспроизводимая ошибка компьютерной системы, приводящая к несправедливым результатам, например к предпочтению одной группы людей перед другой при найме, кредитовании, работе полиции или оказании медицинской помощи. Этот термин охватывает любые автоматизированные процедуры принятия решений — от написанной вручную формулы кредитного скоринга до глубокой нейронной сети. Поскольку ошибочное правило применяется к каждому случаю, одна и та же ошибка повторяется в тысячах или миллионах решений. В контексте машинного обучения (ML) алгоритмическая предвзятость и предвзятость ИИ — синонимы. Алгоритмическая предвзятость — более старый и широкий термин; обычно он относится к решениям, которые внедрённая система принимает в отношении людей.

Три источника алгоритмической предвзятости#

В статье Батьи Фридман и Хелен Ниссенбаум 1996 года «Предвзятость в компьютерных системах» предвзятость разделили на три вида в зависимости от её источника. Эту классификацию используют до сих пор:

• Унаследованная предвзятость: система усваивает предубеждения, уже существующие в обществе или исторических данных.
• Техническая предвзятость: несправедливость возникает из-за проектного решения, например выбора переменной, используемой вместо интересующей величины.
• Возникающая предвзятость: предвзятость появляется после внедрения, когда меняются население, контекст или влияние самой системы на данные, которые будут собраны в будущем.

Amazon отказалась от экспериментальной модели для найма после того, как выяснилось, что она научилась снижать оценку резюме со словом «женский». Это пример унаследованной предвзятости: модель обучалась на десяти годах резюме, поданных преимущественно мужчинами. Пример технической предвзятости — широко применяемый алгоритм здравоохранения в США. Он прогнозировал будущие медицинские расходы пациентов как замену оценке их потребностей в медицинской помощи. Поскольку на лечение чернокожих пациентов с той же тяжестью заболевания тратили меньше денег, алгоритм реже направлял их за дополнительной помощью. В исследовании 2019 года, опубликованном в Science, показано, что устранение предвзятости увеличило бы долю чернокожих пациентов, которым рекомендовали дополнительную помощь, с 17,7% до 46,5%. Прогнозирующая полицейская деятельность — типичный пример возникающей предвзятости из-за петли обратной связи:

В 2018 году исследователи показали, что эта петля может раскручиваться: патрули обнаруживают больше происшествий там, куда их направляют, новые записи подтверждают исходный рейтинг, а модель снова отправляет патрули в те же районы, даже если уровень преступности в других местах такой же.

Почему справедливые решения требуют компромиссов#

В 2016 году ProPublica проанализировала COMPAS — оценку риска, используемую в судах США, — и обнаружила, что чернокожих обвиняемых, которые не совершали повторных преступлений, почти вдвое чаще, чем белых обвиняемых, помечали как лиц с повышенным риском (45% против 23%). Разработчик системы ответил, что оценки одинаково откалиброваны для обеих групп: одна и та же оценка соответствовала одинаковой частоте повторных преступлений независимо от расовой принадлежности. Оба утверждения были верны. Затем исследователи, в том числе Кляйнберг, Муллайнатан и Рагхаван, доказали: если базовые частоты в двух группах различаются, несовершенная оценка не может быть откалибрована для обеих групп и одновременно обеспечивать одинаковые частоты ложноположительных и ложноотрицательных результатов. Следующая симуляция показывает это противоречие для идеально откалиброванных оценок и единого порога:

import numpy as np

rng = np.random.default_rng(0)

# True risk per person; group B has a higher base rate than group A
risks = {"A": rng.beta(2, 5, 100_000), "B": rng.beta(3, 4, 100_000)}

for name, risk in risks.items():
    # Outcomes follow the risk exactly, so the score is perfectly calibrated in both groups
    outcome = rng.random(risk.size) < risk
    flagged = risk > 0.5  # one shared decision threshold

    # False positive rate: share of people without the outcome who were flagged anyway
    fpr = flagged[~outcome].mean()
    print(f"group {name}: base rate {outcome.mean():.2f}, false positive rate {fpr:.2f}")

Базовая частота для группы A составляет 0,29, а частота ложноположительных результатов — 0,06; для группы B эти показатели равны 0,43 и 0,23 соответственно. При одинаковых откалиброванных оценках и пороге система почти в четыре раза чаще помечает людей из группы B, у которых результат не наступает. Такой выбор приходится делать в любой системе, преобразующей оценки в решения. Ultralytics YOLO26 применяет один порог уверенности (conf, по умолчанию 0.25 для предсказания) ко всем обнаружениям, поэтому любая группа с более низкими оценками обнаружений, например пешеходы, редко встречающиеся в обучающих данных, теряет больше обнаружений при тех же настройках.

Алгоритмическая предвзятость и смежные понятия#

• Предвзятость набора данных: недостатки самих данных, например нерепрезентативная выборка. Предвзятость набора данных — одна из причин алгоритмической предвзятости наряду с проектными решениями и последствиями внедрения.
• Справедливость в ИИ: область, которая определяет критерии справедливости, такие как демографическое равенство или равенство частот ошибок, и методы их достижения.
• Дрейф данных: изменение входных данных после внедрения, способное вызвать возникающую предвзятость в модели, которая прошла справедливую проверку перед запуском.

Аудит и снижение алгоритмической предвзятости#

Аудиты сравнивают результаты и частоту ошибок в разных группах с помощью наборов инструментов с открытым исходным кодом, таких как Fairlearn и AI Fairness 360 от IBM. Исправления вносят на трёх этапах: при предварительной обработке повторно взвешивают или выбирают с повторением обучающие данные; при обработке добавляют требования справедливости в целевую функцию обучения; при постобработке настраивают пороговые значения решений для каждой группы. Регулярный мониторинг моделей выявляет новые проявления предвзятости, которые не обнаружили аудиты до запуска. Нормативные требования всё чаще предусматривают такие аудиты: Местный закон № 144 города Нью-Йорка, действующий с 5 июля 2023 года, запрещает работодателям использовать автоматизированные инструменты найма без проверки на предвзятость независимым аудитором за последний год. Работодатель также должен опубликовать сводку с коэффициентами воздействия, сравнивающими показатели отбора по полу, расе или этнической принадлежности.