Algorithmic Bias

Алгоритмическая предвзятость относится к систематическим и повторяемым ошибкам в компьютерной системе, которые приводят к несправедливым результатам, таким как предоставление преимуществ одной произвольной группе пользователей перед другими. В контексте искусственного интеллекта (ИИ) это явление возникает, когда модель машинного обучения (ML) выдает результаты, которые постоянно искажены по отношению к определенным демографическим группам или сценариям. В отличие от случайных ошибок, которые представляют собой непредсказуемый шум, алгоритмическая предвзятость отражает структурный недостаток в том, как модель была спроектирована, обучена или развернута. Устранение этих предвзятостей является фундаментальным аспектом этики ИИ и необходимо для укрепления доверия к автоматизированным системам принятия решений.

Link to this sectionПроисхождение и механизмы#

Предвзятость может проникнуть в системы ИИ несколькими путями. Наиболее распространенным источником являются нерепрезентативные обучающие данные. Если модель компьютерного зрения (CV) обучается преимущественно на изображениях из одного географического региона, ей может быть трудно распознавать объекты или сцены из других частей мира. Это часто называют предвзятостью набора данных. Однако сам алгоритм — математическая логика, обрабатывающая данные — также может вносить предвзятость. Например, алгоритм оптимизации, предназначенный для максимизации общей точности, может пожертвовать производительностью на более мелких, недостаточно представленных подгруппах ради достижения более высокого общего результата.

Link to this sectionПрименение в реальном мире и последствия#

Влияние алгоритмической предвзятости значительно в различных отраслях, особенно там, где автоматизированные системы принимают критически важные решения.

• Диагностика в здравоохранении: В ИИ в здравоохранении модели используются для обнаружения заболеваний по результатам медицинской визуализации. Исследования показали, что некоторые алгоритмы были менее точны при диагностике рака кожи на более темных тонах кожи, поскольку наборы данных, используемые для обучения, состояли в основном из пациентов со светлой кожей. Это неравенство подчеркивает необходимость разнообразного анализа медицинских изображений для обеспечения равного качества медицинской помощи.
• Найм и подбор персонала: Многие компании используют автоматизированные инструменты для фильтрации резюме. Известный исторический случай связан с инструментом подбора персонала, который научился штрафовать резюме, содержащие слово «женский», потому что он обучался на резюме, поданных в основном мужчинами за десятилетие. Это иллюстрирует, как исторические предрассудки могут быть закреплены с помощью прогнозного моделирования.
• Анализ лиц: Ранние итерации коммерческого программного обеспечения для распознавания лиц демонстрировали значительно более высокие уровни ошибок для женщин и цветных людей. Такие организации, как Algorithmic Justice League, сыграли ключевую роль в освещении этих неравенств и продвижении более справедливых технологий.

Link to this sectionРазграничение похожих концепций#

Чтобы эффективно снизить предвзятость, полезно отличать «алгоритмическую предвзятость» от смежных терминов в области ответственного ИИ.

• vs. Предвзятость набора данных: Предвзятость набора данных конкретно относится к изъянам во входных данных, таким как ошибки выборки или несоответствия в разметке. Алгоритмическая предвзятость — это более широкий результат, включающий ошибки, возникающие из данных, архитектуры модели или целевой функции.
• vs. Справедливость в ИИ: Справедливость в ИИ — это проактивная дисциплина и набор стратегий, используемых для предотвращения и исправления алгоритмической предвзятости. В то время как предвзятость — это проблема, справедливость — это цель.
• vs. Дрейф модели: Иногда модель является непредвзятой во время обучения, но со временем становится предвзятой, когда реальные данные меняются. Это известно как дрейф данных, который требует постоянного мониторинга модели для обнаружения.

Link to this sectionСтратегии минимизации#

Разработчики могут уменьшить алгоритмическую предвзятость, применяя строгое тестирование и стратегии разнообразного обучения. Такие методы, как аугментация данных, помогают сбалансировать наборы данных, создавая вариации недостаточно представленных примеров. Кроме того, соблюдение таких рамок, как NIST AI Risk Management Framework, обеспечивает структурированный подход к выявлению рисков.

Следующий пример демонстрирует, как применять аугментацию данных во время обучения с помощью современной модели Ultralytics YOLO26. Увеличивая количество геометрических аугментаций, таких как отражение или масштабирование, модель учится лучше обобщать, потенциально уменьшая предвзятость по отношению к определенным ориентациям или положениям объектов.

from ultralytics import YOLO

# Load the YOLO26 model, the new standard for speed and accuracy
model = YOLO("yolo26n.pt")

# Train with increased augmentation to improve generalization
# 'fliplr' (flip left-right) and 'scale' help the model see diverse variations
results = model.train(
    data="coco8.yaml",
    epochs=50,
    fliplr=0.5,  # 50% probability of horizontal flip
    scale=0.5,  # +/- 50% image scaling
)

Инструменты, такие как AI Fairness 360 от IBM и What-If Tool от Google, позволяют инженерам проводить аудит своих моделей на предмет различий между разными подгруппами. Использование синтетических данных также может помочь заполнить пробелы в обучающих наборах, где реальные данные ограничены. Для оптимизированного управления наборами данных и облачного обучения платформа Ultralytics предлагает инструменты для визуализации распределений данных и раннего выявления потенциальных дисбалансов. В конечном счете, достижение прозрачности в ИИ требует сочетания технических решений, разнообразных команд разработчиков и постоянной оценки точности и полноты по всем демографическим группам пользователей.