Алгоритмическая предвзятость

Источники алгоритмической предвзятости

Хотя алгоритмическая предвзятость часто переплетается с проблемами данных, она возникает именно из-за механики алгоритма:

• Выбор дизайна: Решения, принятые во время разработки алгоритма, такие как выбор конкретных характеристик или используемого алгоритма оптимизации, могут непреднамеренно внести предвзятость. Например, оптимизация исключительно на точность может привести к тому, что модель будет плохо работать с группами меньшинств, если они представляют собой крайние случаи.
• Разработка и выбор признаков: Процесс выбора, преобразования или создания признаков(инженерия признаков) может содержать в себе предубеждения. Алгоритм может узнать корреляции, которые отражают общественные предубеждения, косвенно присутствующие в признаках.
• Переменные-прокси: Алгоритмы могут использовать кажущиеся нейтральными переменные (например, почтовый индекс или историю покупок) в качестве косвенных признаков чувствительных атрибутов (например, расы или дохода). Такое использование прокси-переменных может привести к дискриминационным результатам даже без явных чувствительных данных.
• Петли обратной связи: В системах, которые обучаются со временем, первоначальные алгоритмические предубеждения могут усиливаться, поскольку предвзятые результаты системы влияют на будущий сбор данных или поведение пользователя.

Примеры из реального мира

Предвзятость алгоритмов может проявляться в различных приложениях:

1. Инструменты для найма: Системы искусственного интеллекта, предназначенные для отбора резюме, могут изучать закономерности на основе исторических данных о найме. Если прошлые практики благоприятствовали определенным демографическим группам, алгоритм может закрепить эту предвзятость, наказывая квалифицированных кандидатов из недопредставленных групп, как это печально произошло с экспериментальным инструментом в Amazon.
2. Финансовые услуги: Алгоритмы, используемые для кредитного скоринга или одобрения кредитов, могут непропорционально отклонять заявки людей из определенных районов или демографических групп, даже если из них исключены защищаемые характеристики. Это может произойти, если алгоритм выявит корреляции между, казалось бы, нейтральными факторами (например, просмотром интернет-страниц или посещением конкретных торговых точек) и кредитным риском, которые соответствуют общественным предубеждениям. Обеспокоенность по поводу алгоритмической предвзятости в финансовой сфере растет.

Алгоритмическая предвзятость в сравнении со смежными понятиями

Важно отличать алгоритмическую предвзятость от смежных терминов:

• Предвзятость в ИИ: это широкий термин, охватывающий все формы систематической несправедливости в системах ИИ. Алгоритмическая предвзятость - это один из конкретных источников предвзятости ИИ, наряду с другими, такими как предвзятость набора данных.
• Предвзятость набора данных: речь идет о предвзятости данных, используемых для обучения модели (например, нерепрезентативные выборки, перекошенные аннотации). Хотя предвзятость набора данных может вызвать или усилить алгоритмическую предвзятость, алгоритмическая предвзятость может возникнуть и самостоятельно из-за дизайна алгоритма, даже при использовании идеально репрезентативных данных. Понимание взаимосвязи между предвзятостью ИИ и предвзятостью набора данных имеет решающее значение.
• Компромисс между смещением и дисперсией: это фундаментальная концепция в ML, касающаяся сложности модели и типов ошибок. В данном контексте под "смещением" понимаются упрощающие предположения, сделанные моделью, которые приводят к систематическим ошибкам(недоучету), а не смещение, связанное с обществом или справедливостью.

Стратегии смягчения последствий

Борьба с предвзятостью алгоритмов требует проактивного и многогранного подхода на протяжении всего жизненного цикла ИИ:

• Метрики справедливости: Включайте показатели справедливости в процесс обучения и проверки моделей наряду с традиционными показателями производительности, такими как точность.
• Аудит алгоритмов: Регулярно проверяйте алгоритмы на предмет необъективных результатов для различных подгрупп. Такие инструменты, как AI Fairness 360 и Fairlearn, могут помочь в обнаружении и смягчении предвзятости.
• Методы уменьшения предвзятости: Использование методов, направленных на корректировку алгоритмов, таких как перевзвешивание точек данных, изменение ограничений обучения или постобработка результатов моделирования для обеспечения более справедливых результатов.
• Объяснимый ИИ (XAI): Используйте методы XAI, чтобы понять , почему алгоритм принимает те или иные решения, что поможет выявить скрытые предубеждения в его логике. Повышение прозрачности ИИ - ключевой момент.
• Разнородные команды и тестирование: Привлекайте к процессу разработки разнообразные команды и проводите тщательное тестирование с репрезентативными группами пользователей, чтобы выявить потенциальные предубеждения.
• Информированность о нормативных актах: Будьте в курсе новых нормативных актов, таких как Закон ЕС об искусственном интеллекте, который включает положения, касающиеся предвзятости и справедливости.
• Непрерывный мониторинг моделей: Отслеживайте развернутые модели на предмет снижения производительности или появления погрешностей с течением времени.

Понимая нюансы алгоритмической предвзятости и активно работая над ее снижением путем тщательного проектирования, тщательного тестирования и соблюдения принципов "Справедливость в ИИ" и "Этика ИИ", разработчики могут создавать более надежные, справедливые и полезные приложения ИИ. Такие организации, как Partnership on AI и Algorithmic Justice League, выступают за ответственную разработку ИИ. Платформы, такие как Ultralytics HUB, и модели, такие как Ultralytics YOLO, обеспечивают основу для тщательной разработки и оценки моделей, учитывая такие факторы, как конфиденциальность данных, и способствуя созданию более справедливых систем. Конференция ACM по справедливости, подотчетности и прозрачности (FAccT) является ведущей площадкой для исследований в этой области.