Algorithmic Bias

Алгоритмическая предвзятость — это систематические и воспроизводимые ошибки в компьютерной системе, приводящие к несправедливым результатам, например к необоснованному предпочтению одной группы пользователей перед другими. В контексте искусственного интеллекта (AI) это явление возникает, когда модель машинного обучения (ML) выдает результаты, которые стабильно смещены против определенных демографических групп или сценариев. В отличие от случайных ошибок, представляющих собой непредсказуемый шум, алгоритмическая предвзятость отражает структурный недостаток в том, как была спроектирована, обучена или развернута модель. Устранение такой предвзятости — фундаментальный аспект этики ИИ, необходимый для формирования доверия к системам автоматизированного принятия решений.

Происхождение и механизмы#

Предвзятость может проникать в системы ИИ несколькими путями. Наиболее распространенный источник — нерепрезентативные данные для обучения. Если модель компьютерного зрения (CV) обучается преимущественно на изображениях из одного географического региона, ей может быть сложно распознавать объекты или сцены из других частей мира. Это часто называют предвзятостью набора данных. Однако предвзятость может вносить и сам алгоритм — математическая логика, обрабатывающая данные. Например, алгоритм оптимизации, предназначенный для максимизации общей точности, может ухудшить результаты для небольших, недостаточно представленных подгрупп, чтобы достичь более высокой общей оценки.

Применение и последствия в реальном мире#

Влияние алгоритмической предвзятости значительно в различных отраслях, особенно там, где автоматизированные системы принимают решения с серьезными последствиями.

• Диагностика заболеваний: В сфере ИИ в здравоохранении модели используются для выявления заболеваний по медицинским изображениям. Исследования показали, что некоторые алгоритмы менее точно диагностировали рак кожи на более темных тонах кожи, поскольку использованные для обучения наборы данных в основном содержали данные пациентов со светлой кожей. Это различие подчеркивает необходимость разнообразного анализа медицинских изображений для обеспечения одинакового качества медицинской помощи.
• Наем и подбор персонала: Многие компании используют автоматизированные инструменты для фильтрации резюме. Один известный исторический случай связан с инструментом для подбора персонала, который научился занижать оценку резюме со словом "женский", поскольку обучался на десятилетии резюме, поданных преимущественно мужчинами. Это показывает, как историческая предвзятость может быть закодирована в предиктивном моделировании.
• Анализ лиц: Первые версии коммерческого программного обеспечения для распознавания лиц демонстрировали значительно более высокий уровень ошибок при работе с женщинами и людьми с темным цветом кожи. Такие организации, как Algorithmic Justice League, сыграли ключевую роль в привлечении внимания к этим различиям и продвижении более справедливых технологий.

Различие между связанными понятиями#

Для эффективного снижения предвзятости полезно отличать «алгоритмическую предвзятость» от связанных с ней терминов в области ответственного ИИ.

• В сравнении с предвзятостью набора данных: Предвзятость набора данных относится именно к недостаткам входных данных, например ошибкам выборки или несогласованности разметки. Алгоритмическая предвзятость — это более широкий результат, включающий ошибки, возникающие из-за данных, архитектуры модели или целевой функции.
• В сравнении со справедливостью в ИИ: Справедливость в ИИ — это проактивная дисциплина и набор стратегий, используемых для предотвращения и исправления алгоритмической предвзятости. Предвзятость — это проблема, а справедливость — цель.
• В сравнении с дрейфом модели: Иногда модель бывает непредвзятой во время обучения, но со временем становится предвзятой по мере изменения данных реального мира. Это явление известно как дрейф данных; для его выявления требуется непрерывный мониторинг модели.

Стратегии снижения предвзятости#

Разработчики могут снизить алгоритмическую предвзятость, применяя тщательное тестирование и разнообразные стратегии обучения. Такие методы, как аугментация данных, помогают сбалансировать наборы данных за счет создания вариаций недостаточно представленных примеров. Кроме того, соблюдение таких подходов, как NIST AI Risk Management Framework, обеспечивает структурированный подход к выявлению рисков.

В следующем примере показано, как применять аугментацию данных во время обучения с использованием передовой модели Ultralytics YOLO26. Благодаря усилению геометрических аугментаций, таких как отражение или масштабирование, модель учится лучше обобщать данные, что потенциально снижает предвзятость к определенным ориентациям или положениям объектов.

from ultralytics import YOLO

# Load the YOLO26 model, the new standard for speed and accuracy
model = YOLO("yolo26n.pt")

# Train with increased augmentation to improve generalization
# 'fliplr' (flip left-right) and 'scale' help the model see diverse variations
results = model.train(
    data="coco8.yaml",
    epochs=50,
    fliplr=0.5,  # 50% probability of horizontal flip
    scale=0.5,  # +/- 50% image scaling
)

Такие инструменты, как AI Fairness 360 от IBM и What-If Tool от Google, позволяют инженерам проверять модели на наличие различий между разными подгруппами. Использование синтетических данных также помогает восполнять пробелы в обучающих наборах там, где данных из реального мира недостаточно. Для упрощения управления наборами данных и облачного обучения Ultralytics Platform предлагает инструменты для визуализации распределения данных и раннего выявления возможных дисбалансов. В конечном итоге достижение прозрачности в ИИ требует сочетания технических решений, разнообразных команд разработчиков и непрерывной оценки точности и полноты для всех демографических групп пользователей.