Алгоритмическая предвзятость

Источники алгоритмической предвзятости

Алгоритмическая предвзятость - не монолитная проблема; она проистекает из множества, часто взаимосвязанных, источников на протяжении всего жизненного цикла разработки ИИ. Понимание этих истоков - первый шаг к их устранению.

• Предвзятость данных: это наиболее распространенный источник, когда обучающие данные не являются репрезентативными для реального мира. Если набор данных содержит больше изображений одной демографической группы, чем другой, то модель, обученная на нем, скорее всего, будет работать лучше для группы большинства. Это одна из форм предвзятости набора данных, которая непосредственно способствует предвзятым результатам работы алгоритмов.
• Человеческая предвзятость: разработчики, маркировщики данных и конечные пользователи систем ИИ могут непреднамеренно внести свои собственные когнитивные предубеждения. Они могут проявляться в том, как собираются и аннотируются данные, какие характеристики считаются важными и как интерпретируются результаты работы модели.
• Алгоритмический дизайн: Выбор алгоритма и его оптимизация также могут создавать предвзятость. Например, алгоритм, разработанный для повышения общей точности, может жертвовать производительностью на недопредставленных группах, что является классическим примером компромисса между предвзятостью и дисперсией.

Реальные примеры предвзятости алгоритмов

Влияние предвзятости алгоритмов ощутимо и наблюдается в многочисленных реальных приложениях.

1. Системы распознавания лиц: Ранние технологии распознавания лиц демонстрировали значительно более низкие показатели точности для женщин и людей с темным цветом кожи. Исследования, проведенные в таких институтах, как Массачусетский технологический институт, показали, что эти системы были обучены на наборах данных, состоящих в подавляющем большинстве из изображений белых мужчин, что привело к ухудшению показателей для других демографических групп и вызвало серьезные опасения по поводу их использования в правоохранительных органах.
2. Алгоритмы одобрения кредитов: В финансовом секторе для прогнозирования кредитоспособности используются модели искусственного интеллекта. Однако исторические данные о кредитовании часто отражают прошлые общественные предубеждения. Алгоритм, обученный на этих данных, может научиться ассоциировать определенные почтовые индексы или демографические маркеры с повышенным риском, несправедливо отказывая в кредитах квалифицированным заявителям из числа меньшинств, что известно как "цифровое краснобайство".

Предвзятость алгоритма по сравнению с предвзятостью набора данных

Несмотря на тесную взаимосвязь, важно различать алгоритмическую предвзятость и предвзятость набора данных.

• Под предвзятостью данных понимаются проблемы в данных, используемых для обучения, такие как отсутствие разнообразия или неточные метки. Это одна из основных причин.
• Алгоритмическая предвзятость - это более широкий эффект. Он описывает результирующее искаженное поведение модели ИИ. Хотя зачастую она вызвана смещением набора данных, она также может быть вызвана или усилена собственной логикой алгоритма, его функцией оптимизации или тем, как он интегрирован в большую систему. Алгоритм может быть предвзятым даже при идеально сбалансированных данных, если его внутренняя работа благоприятствует определенным результатам.

Стратегии смягчения последствий

Борьба с предвзятостью алгоритмов требует проактивного и многогранного подхода на протяжении всего жизненного цикла ИИ:

• Метрики справедливости: Включайте показатели справедливости в процесс обучения и проверки моделей наряду с традиционными показателями производительности, такими как точность.
• Аудит алгоритмов: Регулярно проверяйте алгоритмы на предмет необъективных результатов для различных подгрупп. Такие инструменты, как AI Fairness 360 и Fairlearn, могут помочь в обнаружении и смягчении предвзятости.
• Методы уменьшения предвзятости: Использование методов, направленных на корректировку алгоритмов, таких как перевзвешивание точек данных, изменение ограничений обучения или постобработка результатов моделирования для обеспечения более справедливых результатов.
• Объяснимый ИИ (XAI): Используйте методы XAI, чтобы понять , почему алгоритм принимает те или иные решения, что поможет выявить скрытые предубеждения в его логике. Повышение прозрачности ИИ - ключевой момент.
• Разнородные команды и тестирование: Привлекайте к процессу разработки разнообразные команды и проводите тщательное тестирование с репрезентативными группами пользователей, чтобы выявить потенциальные предубеждения.
• Информированность о нормативных актах: Будьте в курсе новых нормативных актов, таких как Закон ЕС об искусственном интеллекте, который включает положения, касающиеся предвзятости и справедливости.
• Непрерывный мониторинг моделей: Отслеживайте развернутые модели на предмет снижения производительности или появления погрешностей с течением времени.

Понимая нюансы алгоритмической предвзятости и активно работая над ее снижением путем тщательного проектирования, тщательного тестирования и соблюдения принципов "Справедливость в ИИ" и "Этика ИИ", разработчики могут создавать более надежные, справедливые и полезные приложения ИИ. Такие организации, как Partnership on AI и Algorithmic Justice League, выступают за ответственную разработку ИИ. Платформы, такие как Ultralytics HUB, и модели, такие как Ultralytics YOLO, обеспечивают основу для тщательной разработки и оценки моделей, учитывая такие факторы, как конфиденциальность данных, и способствуя созданию более справедливых систем. Конференция ACM по справедливости, подотчетности и прозрачности (FAccT) является ведущей площадкой для исследований в этой области.