Предвзятость в ИИ

Предвзятость в ИИ относится к систематическим ошибкам или предубеждениям в выходных данных системы искусственного интеллекта (ИИ). Эти предубеждения могут приводить к несправедливым, неравноправным или дискриминационным результатам, часто ставя в невыгодное положение определенные группы или слои населения. Поскольку системы ИИ все больше интегрируются в критически важные секторы, такие как здравоохранение и финансы, понимание и смягчение предвзятости стало центральной задачей в ответственной разработке ИИ. Предвзятость - это не случайная случайная ошибка, это повторяющаяся закономерность искаженных результатов, которая отражает основные недостатки в данных или алгоритме.

Источники предвзятости ИИ

Предвзятость ИИ может возникать из множества источников на протяжении всего жизненного цикла разработки модели. Наиболее распространенные источники включают в себя:

• Dataset Bias / Смещение набора данных: Это наиболее распространенный источник предвзятости ИИ. Это происходит, когда обучающие данные не соответствуют реальному миру или целевой популяции. Например, набор данных для инструмента найма, обученный в основном на исторических данных из отрасли, где доминируют мужчины, может научиться отдавать предпочтение кандидатам мужского пола. Это может проявляться как систематическая ошибка выборки (данные собраны не случайным образом), систематическая ошибка отбора (данные не представляют среду) или систематическая ошибка измерения (несогласованная маркировка данных). Создание сбалансированных и разнообразных наборов данных является важным первым шагом.
• Алгоритмическая предвзятость: Эта предвзятость возникает из-за самого алгоритма ИИ. Некоторые алгоритмы могут по своей сути усиливать небольшие отклонения, присутствующие в данных, или их конструкция может отдавать приоритет определенным функциям над другими, что приводит к несправедливым результатам. Выбор функции потерь, например, может повлиять на то, как модель штрафует за ошибки для разных подгрупп.
• Человеческая предвзятость: Разработчики, аннотаторы данных и пользователи систем искусственного интеллекта могут непреднамеренно привнести свои собственные когнитивные предубеждения в модель искусственного интеллекта. Эти личные и социальные предубеждения могут влиять на то, как формулируются проблемы, как собираются и аннотируются данные и как интерпретируются результаты модели.

Реальные примеры

1. Технология распознавания лиц: Многие коммерческие системы распознавания лиц исторически демонстрировали более высокие показатели ошибок при идентификации лиц из недостаточно представленных демографических групп, особенно женщин и цветных людей. Исследования, проведенные такими учреждениями, как NIST, продемонстрировали эти различия, которые часто возникают из-за наборов данных для обучения, в которых преимущественно представлены лица белых мужчин.
2. Автоматизированные инструменты найма: Известным примером является экспериментальный инструмент для найма, разработанный Amazon, который, как было обнаружено, наказывал резюме, содержащие слово "women's", и понижал выпускников двух колледжей только для женщин. Модель выучила эти предубеждения из исторических данных о найме, представленных за 10-летний период, которые отражали доминирование мужчин в технологической отрасли. В итоге Amazon отказалась от проекта.

Предвзятость в ИИ в сравнении со смежными терминами

Важно отличать предвзятость ИИ от связанных концепций:

• Алгоритмическая предвзятость и предвзятость ИИ: Алгоритмическая предвзятость — это особый тип предвзятости ИИ, который возникает из архитектуры модели или математической формулировки. Предвзятость ИИ — это более широкий общий термин, который также включает предвзятости из данных и человеческого вмешательства.
• Смещение набора данных vs. Смещение ИИ: Смещение набора данных является основной причиной смещения ИИ. Алгоритм, который является совершенно справедливым по своей конструкции, все равно может давать предвзятые результаты, если он обучен на несбалансированных или предвзятых данных.
• Справедливость в ИИ в сравнении со смещением в ИИ: Справедливость в ИИ — это область, посвященная устранению смещения в ИИ. В то время как смещение является проблемой, справедливость включает в себя принципы, метрики и методы, используемые для определения, измерения и продвижения справедливых результатов.

Устранение предвзятости ИИ

Смягчение предвзятости ИИ — это непрерывный процесс, требующий многогранного подхода на протяжении всего жизненного цикла разработки ИИ:

• Подбор и расширение данных: Активно собирайте разнообразные и репрезентативные наборы данных. Используйте такие методы, как аугментация данных и, возможно, создание синтетических данных, чтобы сбалансировать представление различных групп. Изучите такие ресурсы, как коллекция наборов данных Ultralytics, чтобы получить разнообразные источники данных.
• Метрики и аудит справедливости: Определите и измерьте справедливость, используя соответствующие метрики во время оценки модели. Регулярно проверяйте модели на предвзятость в различных подгруппах до и после развертывания. Такие инструменты, как Fairlearn и AI Fairness 360, могут помочь в этом процессе.
• Прозрачность и объяснимость: Используйте методы объяснимого ИИ (XAI), чтобы понять поведение модели и выявить потенциальные источники предвзятости. Узнайте больше о концепциях XAI. Документирование наборов данных и моделей с использованием таких фреймворков, как Data Sheets for Datasets и Model Cards, также повышает прозрачность.
• Этические рамки и управление: Внедрите строгие руководящие принципы этики ИИ и структуры управления, ссылаясь на такие рамки, как NIST AI Risk Management Framework, для руководства разработкой и развертыванием.

Платформы, такие как Ultralytics HUB, предоставляют инструменты, которые поддерживают разработку более справедливых систем ИИ, обеспечивая тщательное управление наборами данных, облегчая обучение пользовательских моделей и позволяя отслеживать производительность моделей Ultralytics YOLO. Повышение осведомленности и внедрение принципов справедливости, которые часто обсуждаются на таких форумах, как конференция ACM FAccT, имеют решающее значение для создания технологий, которые приносят пользу обществу на справедливой основе.