Предвзятость в ИИ

Под предвзятостью в искусственном интеллекте понимаются систематические ошибки или предубеждения, заложенные в систему искусственного интеллекта (ИИ). систематические ошибки или предубеждения, заложенные в систему искусственного интеллекта (ИИ), которые приводящие к несправедливым, неравным или дискриминационным результатам. В отличие от случайных ошибок, эти предубеждения постоянны и повторяющиеся, часто отдающие предпочтение одной произвольной группе пользователей или вводимым данным перед другими. Поскольку организации все чаще внедряют машинное обучение (ML) в важнейшие процессы принятия решений, признание и устранение предвзятости становится одним из основных принципов этики ИИ. Неспособность устранить эти проблемы может привести к к искаженным результатам в самых разных областях применения - от ИИ в диагностике заболеваний до автоматизированного финансового кредитования.

Источники предвзятости в системах искусственного интеллекта

Предвзятость может проникать в системы ИИ на разных этапах жизненного цикла разработки. Понимание их происхождения необходимо для создания надежных и справедливых моделей.

• Предвзятое отношение к данным: это наиболее Наиболее распространенный источник, возникающий, когда обучающие данные, используемые для обучения модели, не неточно представляют реальный мир. Например, если модель классификации изображений обучается преимущественно на изображениях из западных стран, она может с трудом распознавать объекты или сцены из других регионов. Это явление часто связывают с предвзятостью отбора.
• Алгоритмическая предвзятость: иногда, математический дизайн самого алгоритма может усиливать существующие различия. Некоторые алгоритмы оптимизации могут отдавать приоритет общей точности за счет недопредставленных подгрупп, эффективно игнорируя "выбросы", которые представляют действительные группы меньшинств.
• Когнитивные и человеческие предубеждения: субъективный выбор, сделанный инженерами во время маркировки данных или выбора признаков, может непреднамеренно заложить в систему человеческие предрассудки.

Применение в реальном мире и последствия

Последствия предвзятости ИИ можно наблюдать в различных развернутых технологиях.

1. Неравенство в распознавании лиц: Коммерческие Коммерческие системы распознавания лиц исторически демонстрируют более высокий процент ошибок при идентификации женщин и цветных людей. Такие исследовательские проекты, как Gender Shades, показали, как Нерепрезентативные наборы данных приводят к низкой эффективности для определенных демографических групп, что побуждает к призывам улучшить стандартов конфиденциальности данных и инклюзивности.
2. Предиктивная полиция и рецидивизм: Алгоритмы, используемые для прогнозирования рецидива преступлений, подвергались Критиковались за проявление расовой предвзятости. Такие расследования, как анализ КОМПАС, проведенный изданием ProPublica показали, что некоторые модели с большей вероятностью ошибочно относят обвиняемых из числа меньшинств к группе повышенного риска. Опасности, которые таит в себе опора на исторические данные об арестах, отражающие неравенство в обществе.

Стратегии и инструменты смягчения последствий

Для борьбы с предвзятостью необходим проактивный подход, известный как Справедливость в ИИ. Разработчики могут использовать несколько методов для detect и уменьшения предвзятости.

• Дополнение данных: Одним из эффективных методов улучшения обобщения модели является увеличение объема данных. Искусственно создавая вариации существующих точек данных - например, переворачивая, вращая или изменяя цветовой баланс изображений - разработчики могут использовать такие модели, как Ultralytics YOLO11 к более широкому более широкому диапазону входных данных.
• Алгоритмический аудит: Регулярное тестирование моделей на различных эталонах имеет решающее значение. Такие инструменты, как AI Fairness 360 от IBM и Fairlearn от Microsoft, обеспечивают метрики для оценки производительности моделей в различных различных подгрупп.
• Прозрачность: Принятие Практика объяснимого ИИ (XAI) помогает Заинтересованные стороны понимают , почему модель делает те или иные прогнозы, что облегчает выявление дискриминационной логику.

Пример кода: Улучшение обобщения с помощью дополнения

Следующий фрагмент на Python демонстрирует, как применить увеличение данных во время обучения с помощью ultralytics пакет. Это помогает модели стать инвариантной к определенным изменениям, что потенциально уменьшает перебор с подгонкой под конкретные визуальные характеристики.

from ultralytics import YOLO

# Load the YOLO11 model
model = YOLO("yolo11n.pt")

# Train with data augmentation enabled
# 'fliplr' (flip left-right) and 'hsv_h' (hue adjustment) increase data diversity
results = model.train(
    data="coco8.yaml",
    epochs=5,
    fliplr=0.5,  # Apply horizontal flip with 50% probability
    hsv_h=0.015,  # Adjust image hue fraction
)

Различение смежных терминов

Полезно отличать термин "предвзятость в ИИ" от близких по смыслу терминов глоссария:

• Предвзятость в ИИ по сравнению с алгоритмической предвзятостью: "Предвзятость в ИИ" - это зонтичный термин, охватывающий все источники несправедливости (данные, люди и система). Под "алгоритмической предвзятостью" понимается предвзятость, вызванная вычислительными процедурами или объективными функциями модели. объективными функциями.
• Предвзятость в ИИ в сравнении с предвзятостью набора данных: "Предвзятость набора данных" - это специфическая причина предвзятости ИИ, которая коренится в сборе и обработке обучающего материала. материала. Совершенно справедливый алгоритм все равно может проявить "предвзятость в ИИ", если он обучается на предвзятом наборе данных.

Придерживаясь таких рамочных программ, как NIST AI Risk Management Framework, разработчики могут работать над созданием ответственный ИИ которые будут служить всем на равных.