Bias in AI

Предвзятость ИИ, также называемая смещением ИИ, — это систематическая ошибка в системе искусственного интеллекта (AI), которая приводит к менее точным или менее справедливым результатам для отдельных групп людей, часто по признакам цвета кожи, пола, возраста, диалекта или дохода. Она отличается от случайной ошибки своей устойчивостью: одна и та же группа снова и снова получает худшие результаты. В большинстве случаев предвзятость ИИ — это синоним алгоритмической предвзятости. Алгоритмическая предвзятость — более старый термин, который также охватывает автоматизированные решения на основе фиксированных формул и правил оценки, не связанных с обучением. Поскольку предвзятость может возникнуть на любом этапе создания системы машинного обучения (ML), в рамках этики ИИ её рассматривают как свойство всего жизненного цикла.

Источники предвзятости#

В докладе NIST «К стандарту выявления и управления предвзятостью в искусственном интеллекте» (SP 1270) предвзятость ИИ делится на три категории: системную предвзятость, связанную с институтами и историей; статистическую и вычислительную предвзятость, обусловленную данными и алгоритмами; и человеческую предвзятость, связанную с теми, кто создаёт и использует систему. В типичном конвейере ML эти категории проявляются на отдельных этапах:

• Представленность и смещение набора данных: Для групп, редко встречающихся в обучающих данных, предсказания хуже. Модель компьютерного зрения, обученная преимущественно на фотографиях из Северной Америки и Европы, хуже распознаёт объекты и сцены из других регионов.
• Измерения: Признак или метка измеряет одну группу менее точно. Пульсоксиметры завышают уровень кислорода в крови у пациентов с более тёмной кожей. В исследовании, опубликованном в 2020 году в журнале New England Journal of Medicine, было установлено, что у темнокожих пациентов скрытое снижение уровня кислорода оставалось незамеченным почти втрое чаще, чем у белых пациентов.
• Разметка: Разметчики привносят собственные суждения в метки, на которых обучается модель. Исследование 2019 года по выявлению языка вражды показало, что в широко используемых наборах данных твиты на афроамериканском английском гораздо чаще помечались как оскорбительные, а обученные на них модели отмечали такие твиты до двух раз чаще остальных.
• Моделирование и оценка: Минимизация средней ошибки даёт преимущество большинству, а одна общая оценка может скрывать группу, на которой модель не справляется. Модели также могут обучаться использовать косвенные признаки, случайно коррелирующие с принадлежностью к группе.
• Развёртывание: Если модель применяют к популяции или в контексте, где её никогда не тестировали, либо её выходные данные влияют на данные, на которых она будет обучаться позднее, со временем возникают новые смещения.

Примеры из реальной практики#

• Gender Shades: Эта проверка 2018 года показала, что коммерческие классификаторы пола ошибались при распознавании женщин с тёмной кожей в 34.7% случаев, а мужчин со светлой кожей — максимум в 0.8% случаев.
• Распознавание лиц: В ходе оценки алгоритмов распознавания лиц, проведённой NIST в 2019 году, во многих алгоритмах обнаружили, что для некоторых демографических групп частота ложноположительных результатов в 10–100 раз выше.
• Обнаружение пешеходов: В исследовании 2019 года пешеходов в наборе данных для вождения разметили по цвету кожи. Выяснилось, что модели детекции объектов менее точны при обнаружении пешеходов с более тёмной кожей, причём разницу нельзя было объяснить временем суток или перекрытием объектов.
• ИИ в дерматологии: Классификаторы кожных поражений, обученные преимущественно на изображениях светлой кожи, хуже работали на тёмной коже при проверке на разнообразном наборе клинических изображений. Дообучение на разнообразных изображениях сократило этот разрыв.

Измерение предвзятости#

Предвзятость становится заметна благодаря раздельной оценке: одна и та же метрика вычисляется отдельно для каждой группы, как и рекомендуется в карточках моделей. В следующем примере датчик показывает значение на 1.0 единицу выше для группы B, которая составляет 5% пациентов. Это напоминает проблему с пульсоксиметрами:

import numpy as np
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import train_test_split

rng = np.random.default_rng(0)
group_b = rng.random(20000) < 0.05  # 5% of patients belong to group B
oxygen = rng.normal(size=20000)  # true blood oxygen, standardized
y = oxygen < 0  # condition to detect: low oxygen

# The sensor reads 1.0 too high for group B (measurement bias)
reading = (oxygen + 1.0 * group_b).reshape(-1, 1)
x_tr, x_te, y_tr, y_te, _, g_te = train_test_split(reading, y, group_b, random_state=0)

model = LogisticRegression()
model.fit(x_tr, y_tr)
pred = model.predict(x_te)

# Disaggregated evaluation: score each group separately
print(f"overall accuracy: {np.mean(pred == y_te):.3f}")
print(f"group A accuracy: {np.mean(pred[~g_te] == y_te[~g_te]):.3f}")
print(f"group B accuracy: {np.mean(pred[g_te] == y_te[g_te]):.3f}")

Общая оценка модели составляет 0.967, для группы A — 0.981, а для группы B — лишь 0.706: завышенные показания скрывают случаи низкого уровня кислорода в этой группе. Метрики справедливости для групп, например равенство долей ложноотрицательных результатов в разных группах, формализуют такие проверки в рамках справедливости ИИ.

Снижение предвзятости#

Смягчение последствий начинается с данных: сбора большего числа примеров для недостаточно представленных групп, исправления ошибочных измерений и меток и добавления аугментации данных или синтетических данных, когда реальных примеров не хватает. Во время обучения можно повысить вес редких групп или передискретизировать их, а также добавить ограничения справедливости; на этапе постобработки можно скорректировать пороги принятия решений. Платформа Ultralytics отображает число аннотаций для каждого класса в наборе данных, а аргумент cls_pw при обучении YOLO26 взвешивает функцию потерь классификации обратно пропорционально частоте класса, возведённой в эту степень, поэтому редкие классы получают больший вес. Структура управления рисками ИИ NIST призывает организации измерять смещение на протяжении всего жизненного цикла системы, а статья 10 Закона ЕС об ИИ требует от поставщиков высокорисковых систем ИИ проверять обучающие, валидационные и тестовые данные на возможные смещения.

Смещение в ИИ и другие значения слова «смещение»#

• Компромисс между смещением и дисперсией: статистическое смещение — это ошибка модели, слишком простой, чтобы уловить закономерность в данных; оно приводит к недообучению всех групп в равной мере.
• Параметры смещения: в нейронной сети смещение каждого нейрона — это обучаемое слагаемое, добавляемое к взвешенным входам; оно соответствует свободному члену линейного уравнения.