Понимание предвзятости AI и предвзятости наборов данных в системах компьютерного зрения

Модели искусственного интеллекта (ИИ) меняют способы решения задач, но они не идеальны. От беспилотных автомобилей до диагностических инструментов в здравоохранении — мы полагаемся на ИИ при интерпретации данных и принятии решений. Но что происходит, если сами данные содержат ошибки?

Предвзятость в ИИ относится к моделям несоответствия, которые возникают в моделях, часто незаметно для окружающих. Эти искажения могут привести к тому, что модели будут выдавать неточные, противоречивые или даже вредные прогнозы. В компьютерном зрении предвзятость обычно восходит к одному ключевому источнику: набору данных. Если данные, используемые для обучения модели, несбалансированы или не репрезентативны, модель будет отражать эти пробелы.

Давай подробнее рассмотрим, как формируется предвзятость наборов данных, как она влияет на модели компьютерного зрения и что ты можешь сделать, чтобы обнаружить и предотвратить её. Мы также покажем, как такие модели, как Ultralytics YOLO11, могут поддержать усилия по созданию более справедливых систем ИИ, которые лучше обобщают данные, а значит, хорошо работают с новыми, ранее не виденными данными и служат всем в равной степени.

Link to this sectionЧто такое предвзятость ИИ и почему это важно?#

Предвзятость ИИ — это систематические ошибки в работе системы ИИ, которые приводят к искаженным или неточным результатам. Проще говоря, модель начинает отдавать предпочтение одному типу визуального ввода перед другими, что влияет на справедливость модели, причем не из-за того, что она работает лучше, а из-за способа её обучения.

Это особенно часто встречается в компьютерном зрении, где модели обучаются на визуальных данных. Если набор данных в основном включает один тип объектов, сцен или людей, модель изучает шаблоны, которые хорошо работают только в этих случаях.

Представь модель, обученную в основном на изображениях дорожного движения из крупных городов. Если применить её в сельской местности, она может неправильно классифицировать необычную дорожную разметку или не обнаружить типы транспортных средств, которые она никогда раньше не видела. Это предвзятость ИИ в действии. Она приводит к снижению точности и ограничению способности к обобщению, что подразумевает способность модели хорошо работать с новыми или разнообразными входными данными.

В областях, где точность имеет решающее значение, таких как здравоохранение или безопасность, эти ошибки не просто раздражают, они могут быть опасными. Устранение предвзятости — это вопрос производительности, надежности и безопасности.

Link to this sectionКак предвзятость наборов данных влияет на поведение модели#

Когда мы говорим о предвзятости набора данных, мы имеем в виду дисбаланс или ограничения в данных, используемых для обучения модели. Предвзятость набора данных возникает, когда обучающие данные неадекватно отражают реальное разнообразие, которое они должны моделировать.

Модели компьютерного зрения не понимают мир. Они понимают шаблоны. Если единственные собаки, которых они видели на изображениях, — это золотистые ретриверы на заднем дворе, они могут не узнать хаски на заснеженной тропе.

Рис. 1. Перевзвешивание исходных данных помогает достичь более высокой точности модели.

Это подчеркивает одну из главных проблем, вызванных предвзятостью наборов данных. Модель строит свое понимание на основе того, что ей показывают. Если эти обучающие данные не отражают реального разнообразия, поведение модели становится узким и менее эффективным в незнакомых условиях.

Классификаторы изображений часто работают значительно хуже при тестировании на наборе данных, отличном от того, на котором они обучались, даже если оба набора данных созданы для одной и той же задачи. Небольшие изменения в освещении, фоне или углах камеры могут привести к заметному падению точности. Это показывает, насколько легко предвзятость набора данных может повлиять на способность модели к обобщению.

Это не пограничные случаи. Это сигналы о том, что твой конвейер данных так же важен, как и архитектура твоей модели.

Link to this sectionТипы предвзятости в обучающих данных ИИ#

Предвзятость может проявляться в процессе разработки тонкими способами, часто во время сбора данных, маркировки или кураторства. Ниже приведены три основных типа предвзятости, которые могут повлиять на твои обучающие данные:

Link to this sectionПредвзятость отбора#

Предвзятость отбора может возникнуть, когда набор данных не отражает разнообразие, наблюдаемое при реальном использовании. Если модель обнаружения пешеходов обучена только на изображениях в ясную дневную погоду, она не будет хорошо работать ночью или в туман. Таким образом, процесс отбора упустил важные случаи.

Рис. 2. Визуальное представление предвзятости отбора, где выбрано только недиверсифицированное подмножество.

Эта предвзятость возникает, когда набор данных не охватывает весь спектр реальных сценариев из-за способа сбора данных. Например, модель обнаружения пешеходов, обученная только на изображениях в ясную дневную погоду, может дать сбой в туман, снег или при слабом освещении. Это часто происходит, когда данные собираются в идеальных или удобных условиях, что ограничивает способность модели работать в разнообразных условиях. Расширение усилий по сбору данных, чтобы включить более разнообразные настройки, помогает уменьшить этот вид предвзятости.

Она также может возникнуть в наборах данных, созданных из онлайн-источников, где контент может быть сильно перекошен в сторону определенных местоположений, языков или социально-экономических контекстов. Без целенаправленных усилий по диверсификации набора данных модель унаследует эти ограничения.

Link to this sectionПредвзятость маркировки#

Предвзятость маркировки возникает, когда аннотаторы применяют неверные или несогласованные метки. Ошибка в маркировке может показаться безобидной, но если это происходит часто, модель начинает изучать неверные ассоциации.

Несогласованная маркировка может запутать модель во время обучения, особенно в сложных задачах, таких как обнаружение объектов. Например, один аннотатор может пометить транспортное средство как "автомобиль", в то время как другой помечает похожее как "грузовик". Эти несоответствия влияют на способность модели изучать надежные закономерности, что приводит к снижению точности при выводе.

Рис. 3. Предвзятость в конвейерах данных возникает из реальных дисбалансов.

Предвзятость маркировки может также возникать из-за неясных руководств по аннотированию или различных интерпретаций одних и тех же данных. Установление хорошо документированных стандартов маркировки и проведение проверок контроля качества могут значительно уменьшить эти проблемы.

Текущее обучение для аннотаторов и использование консенсусной маркировки, когда несколько аннотаторов пересматривают каждый образец, являются двумя эффективными стратегиями для минимизации предвзятости маркировки и улучшения качества набора данных.

Link to this sectionПредвзятость репрезентации#

Предвзятость репрезентации часто отражает более широкое общественное неравенство. Данные, собранные в более богатых или более связанных регионах, могут не отражать разнообразие менее представленных групп населения или сред. Устранение этой предвзятости требует преднамеренного включения упущенных из виду групп и контекстов.

Предвзятость репрезентации возникает, когда определенные группы или классы недостаточно представлены в наборе данных. К ним могут относиться демографические группы, категории объектов или условия окружающей среды. Если модель видит только один тон кожи, один тип объекта или один стиль фона, её прогнозы будут отражать этот дисбаланс.

Мы можем наблюдать этот тип предвзятости, когда определенные группы или категории включены в значительно меньших количествах, чем другие. Это может исказить прогнозы модели в сторону доминирующих примеров в наборе данных. Например, модель распознавания лиц, обученная в основном на одной демографической группе, может с трудом работать точно для всех пользователей. В отличие от предвзятости отбора, которая связана с разнообразием данных, предвзятость репрезентации касается баланса между группами.

Аудиты разнообразия и стратегии целевого расширения данных могут помочь гарантировать, что все соответствующие демографические группы и категории должным образом представлены во всем наборе обучающих данных.

Link to this sectionКак обнаружить и уменьшить предвзятость наборов данных#

В реальных развертываниях предвзятость ИИ означает не просто несколько неверных прогнозов. Это может привести к созданию систем, которые работают хорошо для одних людей, но не для всех.

В автомобильном ИИ модели обнаружения могут работать несогласованно в разных группах пешеходов, что приводит к снижению уровня безопасности для недопредставленных лиц. Проблема не в намерениях модели. Проблема в визуальных входных данных, на которых она обучалась. Даже в сельском хозяйстве предвзятость в обнаружении объектов может означать плохую идентификацию сельскохозяйственных культур при различных условиях освещения или погодных условиях. Это распространенные последствия обучения моделей на ограниченных или несбалансированных наборах данных.

Исправление предвзятости ИИ начинается с понимания того, где искать. Если в твоем наборе для обучения отсутствуют ключевые примеры или перепредставлен узкий диапазон, твоя модель будет отражать эти пробелы. Вот почему обнаружение предвзятости в ИИ является критическим шагом в каждом конвейере разработки.

Рис. 4. Ключевые шаги по снижению предвзятости ИИ и улучшению справедливости.

Начни с анализа своего набора данных. Посмотри на распределение по классам, средам, освещению, масштабам объектов и демографическим характеристикам. Если доминирует одна категория, твоя модель, скорее всего, будет работать хуже на остальных.

Затем посмотри на производительность. Работает ли модель хуже в определенных условиях или для определенных типов объектов? Если да, то это признак усвоенной предвзятости, и он обычно указывает на проблему с данными.

Оценка на уровне срезов имеет ключевое значение. Модель может сообщать о 90% точности в среднем, но только о 60% для конкретной группы или условия. Не проверяя эти срезы, ты никогда об этом не узнаешь.

Использование метрик справедливости во время обучения и оценки — еще один мощный инструмент. Эти метрики выходят за рамки стандартных показателей точности и оценивают, как ведет себя модель в разных подмножествах данных. Они помогают выявить «слепые зоны», которые в противном случае могли бы остаться незамеченными.

Прозрачность состава набора данных и тестирования модели приводит к созданию лучших моделей.

Link to this sectionУлучшение справедливости за счет разнообразия данных и аугментации#

Как только ты определил предвзятость, следующий шаг — закрыть этот пробел. Один из самых эффективных способов сделать это — увеличение разнообразия данных в моделях ИИ. Это означает сбор большего количества образцов из недостаточно представленных сценариев, будь то медицинские изображения разных групп населения или необычные условия окружающей среды.

Добавление большего количества данных может быть полезным, особенно когда это увеличивает разнообразие. Однако улучшение справедливости также зависит от сбора правильных типов примеров. Они должны отражать реальное разнообразие, с которым, вероятно, столкнется твоя модель.

Аугментация данных — еще одна ценная стратегия. Отражение, вращение, регулировка освещения и масштабирование объектов могут помочь имитировать различные реальные условия. Аугментация не только увеличивает разнообразие набора данных, но и помогает модели стать более устойчивой к изменениям внешнего вида, освещения и контекста.

Большинство современных конвейеров обучения включают аугментацию по умолчанию, но стратегическое использование, например, фокусировка на корректировке в зависимости от конкретных потребностей задачи, делает её эффективной для справедливости.

Link to this sectionИспользование синтетических данных для заполнения пробелов#

Синтетические данные относятся к искусственно сгенерированным данным, которые имитируют реальные примеры. Они могут быть полезным инструментом, когда определенные сценарии слишком редки или слишком чувствительны для захвата в реальных условиях.

Например, если ты создаешь модель для обнаружения редких дефектов в оборудовании или пограничных случаев нарушений правил дорожного движения, ты можешь имитировать эти случаи с помощью синтетических данных. Это дает твоей модели возможность учиться на событиях, с которыми она может сталкиваться нечасто в твоем наборе для обучения.

Исследования показали, что внедрение целевых синтетических данных в обучение может уменьшить предвзятость набора данных и улучшить производительность в разных демографических группах и средах.

Синтетические данные работают лучше всего в сочетании с реальными образцами. Они дополняют твой набор данных; они не заменяют его.

Link to this sectionКак YOLO11 поддерживает этичный ИИ#

Создание беспристрастных моделей ИИ также зависит от инструментов, которые ты используешь. YOLO11 разработан гибким, простым в донастройке и легко адаптируемым, что делает его отличным выбором для уменьшения предвзятости наборов данных.

YOLO11 поддерживает продвинутые методы аугментации данных во время обучения модели, что привносит разнообразные контексты изображений и смешанные примеры для улучшения обобщения модели и уменьшения переобучения.

YOLO11 также оснащен улучшенной архитектурой бэкбона и нек для более эффективного извлечения признаков. Это обновление повышает способность модели обнаруживать мелкозернистые детали, что критически важно в недостаточно представленных или пограничных сценариях, где стандартные модели могут испытывать трудности.

Поскольку YOLO11 просто переобучать и развертывать в периферийных и облачных средах, команды могут выявлять пробелы в производительности и быстро обновлять модель, когда предвзятость обнаруживается в полевых условиях.

Справедливый ИИ — это не разовая цель. Это цикл оценки, обучения и корректировки. Инструменты вроде YOLO11 помогают сделать этот цикл быстрее и продуктивнее.

Link to this sectionОсновные выводы#

Предвзятость ИИ влияет на все: от справедливости до производительности. Предвзятость компьютерного зрения часто проистекает из того, как собираются, маркируются и балансируются наборы данных. К счастью, существуют проверенные способы обнаружения и уменьшения её влияния.

Начни с аудита своих данных и тестирования производительности модели в различных сценариях. Используй целевой сбор данных, аугментацию и синтетические данные, чтобы создать лучшее покрытие для обучения.

YOLO11 поддерживает этот рабочий процесс, облегчая обучение пользовательских моделей, применение сильных методов аугментации и быстрое реагирование при обнаружении предвзятости.

Создание справедливого ИИ — это не просто правильно. Это также способ создавать более умные и надежные системы.

Присоединяйся к нашему растущему сообществу! Изучи наш репозиторий на GitHub, чтобы узнать больше об ИИ. Готов начать свои проекты по компьютерному зрению? Ознакомься с нашими вариантами лицензирования. Открой для себя ИИ в производстве и ИИ зрения в сельском хозяйстве, посетив наши страницы с решениями!