Bias in AI

Предвзятость в AI означает систематические ошибки, предубеждения или необоснованные допущения, заложенные в системах искусственного интеллекта (AI), которые приводят к несправедливым, неравным или дискриминационным результатам. В отличие от случайных ошибок, которые непредсказуемы, предвзятость проявляется в постоянном смещении результатов в пользу или во вред определённым группам, часто на основании таких чувствительных характеристик, как раса, пол, возраст или социально-экономический статус. Поскольку модели машинного обучения (ML) всё чаще применяются в ответственных сферах — от диагностики с использованием AI в здравоохранении до финансового кредитования, — выявление и снижение такой предвзятости стало важнейшей частью протоколов этики AI и безопасности.

Источники и происхождение предвзятости#

Предвзятость редко возникает намеренно; скорее, она проникает в системы на разных этапах жизненного цикла разработки, часто отражая историческое неравенство или недостатки сбора данных.

• Предвзятость данных: это наиболее распространённый источник, возникающий, когда данные для обучения неточно представляют население реального мира. Например, если модель компьютерного зрения (CV) обучена преимущественно на изображениях из западных стран, она может не распознавать культурные контексты или объекты из других регионов — явление, часто связанное с ошибкой отбора.
• Алгоритмическая предвзятость: даже идеальные данные не исключают несправедливости, которую может привнести архитектура модели. Некоторые алгоритмы оптимизации отдают приоритет глобальным метрикам точности, что может непреднамеренно ухудшать результаты для небольших, недостаточно представленных подгрупп ради максимизации общего показателя.
• Когнитивная и историческая предвзятость: человеческие предубеждения могут кодироваться в метках эталонной истины во время разметки данных. Если у разметчиков есть неосознанные предубеждения, модель научится воспроизводить эти субъективные суждения, фактически автоматизируя существующее социальное неравенство.

Последствия в реальном мире#

Последствия предвзятости в AI могут быть серьёзными, затрагивая права и безопасность людей.

• Неравенство в анализе лиц: первые версии технологии распознавания лиц демонстрировали значительно более высокий уровень ошибок для женщин и людей с небелым цветом кожи. Такие организации, как Лига алгоритмической справедливости, показали, что эти системы, часто используемые в сфере безопасности, могут приводить к ошибочной идентификации и необоснованным обвинениям из-за нерепрезентативных обучающих наборов данных.
• Диагностика в здравоохранении: при анализе медицинских изображений моделям, обученным преимущественно на пациентах со светлой кожей, может быть сложно выявлять кожные заболевания на более тёмных оттенках кожи. Это неравенство может приводить к задержке диагностики и неодинаковому качеству медицинской помощи, что усиливает призывы к созданию более разнообразных биомедицинских наборов данных.

Стратегии снижения предвзятости#

Для устранения предвзятости необходим проактивный подход на всех этапах конвейера обучения модели и её развёртывания.

1. Кураторство разнообразных данных: использование таких инструментов, как Ultralytics Platform, позволяет командам визуализировать распределение данных в наборе и выявлять пробелы в представленности до начала обучения.

2. Тестирование с учётом справедливости: вместо того чтобы полагаться только на агрегированные метрики, разработчикам следует проводить детальную оценку модели на разных демографических срезах, чтобы обеспечить равномерное качество работы.

3. Интерпретируемость: внедрение методов объяснимого AI (XAI) помогает заинтересованным сторонам понять, почему модель приняла определённое решение, и упрощает выявление дискриминационной логики или использования переменных-заменителей (например, почтового индекса как заменителя расы).

Различие между связанными понятиями#

Важно отличать «Предвзятость в AI» от других технических значений слова «предвзятость».

• В сравнении с компромиссом между смещением и дисперсией: в статистическом обучении этот термин обозначает ошибку, возникающую при приближённом представлении задачи реального мира с помощью упрощённой модели (недообучение). Это математическая концепция, связанная со сложностью модели и отличающаяся от социального предубеждения, подразумеваемого выражением «Предвзятость в AI».
• В сравнении с весами и смещениями модели: в нейронной сети параметр «смещение» — это обучаемый параметр, подобный свободному члену в линейном уравнении, который позволяет сдвигать функцию активации. Это фундаментальный математический компонент, а не этический недостаток.
• В сравнении с обеспечением справедливости в AI: если предвзятость означает наличие предубеждения или ошибки, то справедливость — это цель или набор корректирующих мер, применяемых для устранения этой предвзятости.

Технический пример: оценка качества работы на подгруппах#

Чтобы выявить предвзятость, разработчики часто тестируют модели на специальных наборах данных для «проверки на сложных случаях», представляющих меньшинства. В следующем примере показано, как использовать YOLO26 для проверки качества работы на определённом подмножестве данных.

from ultralytics import YOLO

# Load a pre-trained YOLO26 model
model = YOLO("yolo26n.pt")

# Validate the model on a specific dataset split designed to test
# performance on an underrepresented environment (e.g., 'night_time.yaml')
metrics = model.val(data="night_time_data.yaml")

# Analyze specific metrics to check for performance degradation
print(f"mAP50-95 on challenge set: {metrics.box.map}")

Такие стандарты, как Рамочная система управления рисками AI NIST, и нормативные акты, такие как Закон ЕС об AI, всё чаще требуют проведения таких проверок на предвзятость, чтобы обеспечить разработку ответственного AI.