Fairness in AI

Справедливость ИИ означает, что решения и ошибки модели не должны систематически ущемлять людей из-за чувствительных атрибутов, таких как раса, пол, возраст или инвалидность. Это понятие также включает метрики и методы оценки и обеспечения этого требования. Предвзятость ИИ обозначает проблему: систематическое искажение, которое может возникнуть из-за нерепрезентативных обучающих данных (смещения в наборе данных) или решений при разработке и развёртывании (алгоритмической предвзятости). Справедливость — критерий, по которому проверяют систему; она относится к основным принципам этики ИИ наряду с прозрачностью и подотчётностью. Для неё существует несколько формальных определений, которые нельзя одновременно выполнить.

Оценка справедливости#

Метрики групповой справедливости сравнивают поведение модели между группами, выделенными по чувствительному атрибуту:

• Демографический паритет: Каждая группа получает положительные решения, например одобрение кредита или приглашение на собеседование, с одинаковой частотой.
• Равенство ошибок: У каждой группы одинаковы доли истинно положительных и ложноположительных результатов. Мориц Хардт, Эрик Прайс и Натан Сребро определили это понятие в 2016 году, а также более слабый критерий равных возможностей, требующий равенства только доли истинно положительных результатов.
• Калибровка внутри групп: Прогнозируемая оценка 0.7 соответствует одному и тому же 70-процентному показателю результата в каждой группе.
• Индивидуальная справедливость: Похожие люди получают похожие предсказания; это определение формализовала Синтия Дворк и её коллеги в 2012 году.

Фрагмент кода ниже оценивает идеально точную модель на двух группах с разной базовой частотой положительного исхода:

import numpy as np

# Outcomes and a sensitive attribute for 10 applicants; group A has a higher base rate
y_true = np.array([1, 1, 1, 1, 0, 1, 1, 0, 0, 0])
group = np.array(["A"] * 5 + ["B"] * 5)

# A perfectly accurate model predicts every outcome correctly
y_pred = y_true.copy()

for g in ("A", "B"):
    in_group = group == g
    selection_rate = y_pred[in_group].mean()
    tpr = y_pred[in_group & (y_true == 1)].mean()  # true positive rate
    fpr = y_pred[in_group & (y_true == 0)].mean()  # false positive rate
    print(f"group {g}: selection rate {selection_rate:.0%}, TPR {tpr:.0%}, FPR {fpr:.0%}")

Модель удовлетворяет критерию равенства ошибок: доля истинно положительных результатов составляет 100%, а доля ложноположительных — 0% в обеих группах. При этом модель нарушает демографический паритет, одобряя заявки 80% группы A и 40% группы B. Чтобы выровнять доли одобрения, пришлось бы принимать неправильные решения хотя бы для одной из групп.

Почему определения справедливости противоречат друг другу#

В 2016 году Джон Кляйнберг, Сенхил Муллайнатан и Маниш Рагхаван, а в 2017 году Александра Чоулдечова доказали: если базовая частота исхода различается между группами, классификатор не может быть откалиброван внутри каждой группы и одновременно иметь одинаковые доли ложноположительных и ложноотрицательных результатов. Исключение составляют вырожденные случаи, например идеальное предсказание. Инструмент COMPAS для оценки риска рецидива наглядно демонстрирует это противоречие. В 2016 году ProPublica сообщила, что чернокожих обвиняемых, которые не совершали повторных преступлений, почти вдвое чаще, чем белых обвиняемых, относили к категории высокого риска. Разработчик инструмента показал, что его оценки одинаково откалиброваны для обеих групп. Оба анализа были верны, поэтому выбор метрики справедливости для конкретного применения — не только техническое, но и политическое решение.

Справедливость в компьютерном зрении#

В исследовании Gender Shades Джой Буоламвини и Тимнит Гебру (2018) проверили три коммерческих классификатора пола и обнаружили, что частота ошибок у темнокожих женщин достигала 34.7%, а у светлокожих мужчин составляла не более 0.8%. Подобные различия возникают везде, где обучающие изображения недостаточно представлены для отдельных групп: от моделей распознавания лиц до моделей анализа медицинских изображений для выявления заболеваний кожи, обученных на наборах дерматологических данных, в которых преобладает светлая кожа. Поэтому при проверке модели компьютерного зрения показатели точности и полноты указывают отдельно для каждой значимой подгруппы и заносят в карточку модели: общее значение точности может скрывать подгруппу, на которой модель не справляется.

Стратегии снижения смещения#

Методы вмешательства группируют по этапу конвейера машинного обучения, который они меняют. Методы предварительной обработки позволяют собирать репрезентативные данные, заполнять пробелы целенаправленным расширением данных или синтетическими данными, а также повышать вес примеров, чтобы недопредставленные группы учитывались сильнее. Ultralytics YOLO предлагает такое же перераспределение весов для классов: если задать аргумент обучения cls_pw выше значения по умолчанию 0, функция потерь каждого класса умножается на его обратную частоту, возведённую в эту степень, поэтому редкий класс получает больший вес при обучении.

Методы обработки в ходе обучения добавляют ограничения или штрафы за справедливость в функцию потерь либо используют распределённо робастную оптимизацию, чтобы минимизировать потери худшей по результатам группы. Методы постобработки корректируют пороги принятия решений для каждой группы после обучения — такой подход Хардт и его коллеги предложили для достижения равенства ошибок.

В наборах инструментов с открытым исходным кодом, таких как Fairlearn и AI Fairness 360 от IBM, реализованы эти метрики и способы устранения предвзятости. Регулирование всё чаще требует проводить такие измерения: Закон ЕС об искусственном интеллекте обязывает поставщиков высокорисковых систем проверять обучающие данные на возможные искажения, а местный закон № 144 Нью-Йорка с июля 2023 года требует ежегодно проводить независимый аудит предвзятости автоматизированных инструментов найма.