Разбираемся в смещении ИИ и наборов данных в системах визуального ИИ

Модели искусственного интеллекта (AI) меняют способы решения задач, но они не идеальны. От беспилотных автомобилей до диагностических инструментов в здравоохранении — мы полагаемся на ИИ при интерпретации данных и принятии решений. Что происходит, когда сами данные содержат ошибки?

Предвзятость в ИИ — это закономерности несогласованности, возникающие в моделях, зачастую незаметно для окружающих. Из-за такой предвзятости модели могут выдавать неточные, противоречивые и даже вредоносные прогнозы. В компьютерном зрении предвзятость обычно связана с одним ключевым источником: набором данных. Если данные для обучения модели несбалансированы или нерепрезентативны, модель унаследует эти пробелы.

Давай подробнее разберемся, как возникает предвзятость наборов данных, как она влияет на модели компьютерного зрения и что разработчики могут сделать, чтобы выявлять и предотвращать ее. Мы также покажем, как модели, такие как Ultralytics YOLO11, помогают создавать более справедливые системы ИИ с лучшей обобщающей способностью: такие системы хорошо работают на новых, ранее не встречавшихся данных и служат всем на более равных условиях.

Что такое предвзятость ИИ и почему она важна?#

Предвзятость ИИ — это систематические ошибки в системе ИИ, приводящие к искаженным или неточным результатам. Проще говоря, модель начинает отдавать предпочтение одному типу визуальных данных, а не другим, что влияет на ее справедливость. Причина не в том, что модель лучше работает с этими данными, а в том, как ее обучали.

Это особенно часто встречается в компьютерном зрении, где модели учатся на визуальных данных. Если в наборе данных в основном представлены объекты, сцены или люди одного типа, модель усваивает закономерности, которые хорошо работают только в таких случаях.

Представь модель, обученную преимущественно на изображениях дорожного движения в крупных городах. При развертывании в сельской местности она может ошибочно классифицировать необычную планировку дорог или не обнаруживать типы транспортных средств, которых раньше не встречала. Это и есть предвзятость ИИ в действии. Она снижает точность и ограничивает обобщающую способность модели — ее способность хорошо работать с новыми или разнообразными входными данными.

В областях, где точность критически важна, например в здравоохранении или безопасности, такие ошибки не просто раздражают — они могут быть опасны. Борьба с предвзятостью важна для производительности, надежности и безопасности.

Как предвзятость набора данных влияет на поведение модели#

Говоря о предвзятости набора данных, мы имеем в виду несбалансированность или ограниченность данных, используемых для обучения модели. Предвзятость набора данных возникает, когда обучающие данные недостаточно отражают разнообразие реального мира, который модель должна описывать.

Модели компьютерного зрения не понимают мир — они распознают закономерности. Если из собак им показывали только золотистых ретриверов во дворах, они могут не узнать хаски на заснеженной тропе.

Рис. 1. Перевзвешивание исходных данных помогает повысить точность модели.

Это показывает одну из главных проблем, вызванных предвзятостью набора данных. Модель формирует свое представление на основе того, что ей показывают. Если обучающие данные не отражают разнообразие реального мира, поведение модели становится ограниченным и менее эффективным в незнакомых условиях.

Классификаторы изображений часто показывают значительно худшие результаты на наборе данных, отличном от того, на котором их обучали, даже если оба набора предназначены для одной задачи. Небольшие изменения освещения, фона или угла съемки могут заметно снизить точность. Это показывает, насколько легко предвзятость набора данных может повлиять на способность модели к обобщению.

Это не редкие исключения. Это признаки того, что конвейер обработки данных не менее важен, чем архитектура модели.

Типы предвзятости в обучающих данных ИИ#

Предвзятость может незаметно проявляться на разных этапах разработки, часто при сборе, разметке или отборе данных. Ниже описаны три основных типа предвзятости, которые могут повлиять на обучающие данные:

Смещение выборки#

Смещение выборки может возникнуть, когда набор данных не отражает разнообразие ситуаций, встречающихся в реальном мире. Если модель обнаружения пешеходов обучена только на четких дневных изображениях, она будет плохо работать ночью или в тумане. Значит, при отборе данных были упущены важные случаи.

Рис. 2. Наглядное представление смещения выборки: выбрана лишь недостаточно разнообразная часть данных.

Такое смещение возникает, когда из-за способа сбора данных набор не охватывает весь спектр ситуаций реального мира. Например, модель обнаружения пешеходов, обученная только на четких дневных изображениях, может давать сбои в тумане, снегопаде или при слабом освещении. Это часто происходит, когда данные собирают в идеальных или удобных условиях, из-за чего способность модели работать в разнообразной среде ограничена. Расширение сбора данных на более разнообразные условия помогает уменьшить этот тип смещения.

Оно также может возникать в наборах данных, созданных на основе онлайн-источников, где контент может быть сильно смещен в сторону определенных регионов, языков или социально-экономических условий. Если намеренно не разнообразить набор данных, модель унаследует эти ограничения.

Смещение разметки#

Смещение разметки возникает, когда люди-разметчики используют неверные или несогласованные метки. Отдельная ошибка в разметке может показаться безобидной, но если она часто повторяется, модель начинает усваивать неверные связи.

Несогласованная разметка может сбивать модель с толку во время обучения, особенно при решении сложных задач, таких как обнаружение объектов. Например, один разметчик может обозначить транспортное средство как «автомобиль», а другой — похожее транспортное средство как «грузовик». Такие несоответствия мешают модели усваивать надежные закономерности и снижают точность при инференсе.

Рис. 3. Смещение в конвейерах обработки данных возникает из-за дисбаланса в реальном мире.

Смещение разметки также может быть вызвано неясными инструкциями по аннотированию или разными интерпретациями одних и тех же данных. Четко документированные стандарты разметки и проверки качества позволяют значительно снизить остроту этих проблем.

Регулярное обучение разметчиков и разметка по консенсусу, при которой каждый образец проверяют несколько разметчиков, — две эффективные стратегии для уменьшения смещения разметки и повышения качества набора данных.

Смещение представленности#

Смещение представленности часто отражает более широкое социальное неравенство. Данные, собранные в более богатых или лучше связанных регионах, могут не учитывать разнообразие недостаточно представленных групп населения или условий среды. Чтобы устранить это смещение, необходимо намеренно включать упущенные из виду группы и контексты.

Смещение представленности возникает, когда некоторые группы или классы недостаточно представлены в наборе данных. К ним могут относиться демографические группы, категории объектов или условия среды. Если модель видит только один оттенок кожи, один тип объекта или один стиль фона, ее прогнозы будут отражать этот дисбаланс.

Этот тип смещения заметен, когда одни группы или категории представлены в гораздо меньшем количестве, чем другие. Из-за этого прогнозы модели могут смещаться в сторону преобладающих примеров в наборе данных. Например, модель распознавания лиц, обученная преимущественно на данных одной демографической группы, может плохо работать с представителями других групп. В отличие от смещения выборки, связанного с разнообразием данных, смещение представленности касается баланса между группами.

Аудит разнообразия и целенаправленное расширение данных помогают обеспечить надлежащее представление всех важных демографических групп и категорий в обучающем наборе данных.

Как выявлять и уменьшать предвзятость набора данных#

При развертывании в реальных условиях предвзятость ИИ — это не просто несколько неправильных прогнозов. Она может привести к созданию систем, которые хорошо работают для одних людей, но не для всех.

В автомобильных системах ИИ модели обнаружения могут работать по-разному с пешеходами из разных групп, снижая уровень безопасности для недостаточно представленных людей. Проблема не в намерениях модели, а в визуальных данных, на которых ее обучали. Даже в сельском хозяйстве предвзятость при обнаружении объектов может приводить к плохому распознаванию культур при разном освещении или погоде. Это типичные последствия обучения моделей на ограниченных или несбалансированных наборах данных.

Устранение предвзятости ИИ начинается с понимания, где искать проблему. Если в обучающем наборе отсутствуют важные примеры или какая-то узкая категория чрезмерно представлена, модель унаследует эти пробелы. Поэтому выявление предвзятости в ИИ — важный этап любого конвейера разработки.

Рис. 4. Основные шаги по уменьшению предвзятости ИИ и повышению справедливости.

Начни с анализа набора данных. Изучи распределение по классам, условиям среды, освещению, масштабам объектов и демографическим группам. Если преобладает одна категория, модель, скорее всего, будет хуже работать с остальными.

Затем оцени производительность. Хуже ли модель работает в определенных условиях или с конкретными типами объектов? Если да, это признак усвоенной предвзятости, которая обычно связана с данными.

Ключевую роль играет оценка по срезам данных. Средняя точность модели может составлять 90%, но для конкретной группы или условия — всего 60%. Если не проверять такие срезы, ты об этом не узнаешь.

Еще один эффективный инструмент — использовать метрики справедливости при обучении и оценке. Эти метрики выходят за рамки стандартных показателей точности и оценивают поведение модели на разных подмножествах данных. Они помогают выявлять слабые места, которые иначе могли бы остаться незамеченными.

Прозрачность состава набора данных и тестирования модели помогает создавать более качественные модели.

Повышение справедливости за счет разнообразия данных и аугментации#

Определив наличие предвзятости, нужно устранить этот дисбаланс. Один из самых эффективных способов — повысить разнообразие данных в моделях ИИ. Для этого необходимо собирать больше примеров из недостаточно представленных ситуаций: например, медицинские изображения людей из разных групп населения или примеры необычных условий среды.

Добавление данных может быть полезным, особенно если оно повышает разнообразие. Однако для повышения справедливости важно собирать и подходящие примеры. Они должны отражать вариативность реального мира, с которой, вероятно, столкнется модель.

Еще одна полезная стратегия — аугментация данных. Отражение, поворот, настройка освещения и изменение масштаба объектов помогают смоделировать различные условия реального мира. Аугментация не только повышает разнообразие набора данных, но и помогает модели устойчивее реагировать на изменения внешнего вида, освещения и контекста.

Большинство современных конвейеров обучения включают аугментацию по умолчанию, но для справедливости она эффективна лишь при стратегическом применении, например с настройками, учитывающими специфику задачи.

Использование синтетических данных для восполнения пробелов#

Синтетические данные — это искусственно созданные данные, имитирующие реальные примеры. Они могут быть полезны, когда некоторые ситуации слишком редки или слишком чувствительны для сбора в реальных условиях.

Например, если ты создаешь модель для обнаружения редких дефектов оборудования или редких нарушений правил дорожного движения, такие случаи можно смоделировать с помощью синтетических данных. Так модель сможет учиться на событиях, которые могут редко встречаться в обучающем наборе.

Исследования показали, что добавление в обучение целевых синтетических данных может уменьшить предвзятость набора данных и повысить качество работы модели в разных демографических группах и условиях среды.

Синтетические данные лучше всего работают в сочетании с реальными примерами. Они дополняют набор данных, но не заменяют его.

Как Ultralytics YOLO11 помогает создавать этичный ИИ#

Создание непредвзятых моделей ИИ также зависит от используемых инструментов. Ultralytics YOLO11 отличается гибкостью, простотой дообучения и высокой адаптивностью, поэтому хорошо подходит для уменьшения предвзятости наборов данных.

Ultralytics YOLO11 поддерживает передовые методы аугментации данных во время обучения модели: они позволяют разнообразить контекст изображений и комбинировать примеры, повышая обобщающую способность модели и снижая переобучение.

В Ultralytics YOLO11 также улучшена архитектура основной сети и шейной части для более эффективного извлечения признаков. Это повышает способность модели обнаруживать мелкие детали, что особенно важно в недостаточно представленных ситуациях и нестандартных случаях, где обычным моделям может быть трудно.

Поскольку Ultralytics YOLO11 легко переобучать и развертывать в периферийной и облачной средах, команды могут выявлять проблемы с производительностью и быстро обновлять модель, обнаружив предвзятость при эксплуатации.

Справедливый ИИ — не разовая цель, а цикл оценки, обучения и корректировки. Такие инструменты, как Ultralytics YOLO11, помогают ускорить этот цикл и повысить его эффективность.

Главные выводы#

Предвзятость ИИ влияет на все: от справедливости до производительности. Предвзятость в компьютерном зрении часто обусловлена тем, как собирают, размечают и балансируют наборы данных. К счастью, существуют проверенные способы ее выявления и уменьшения.

Начни с аудита данных и проверки производительности модели в разных ситуациях. Используй целевой сбор данных, аугментацию и синтетические данные, чтобы расширить охват обучающих примеров.

Ultralytics YOLO11 поддерживает этот рабочий процесс: с ним проще обучать собственные модели, применять эффективные методы аугментации и оперативно реагировать на выявленную предвзятость.

Создавать справедливый ИИ — не только правильно, но и необходимо для разработки более умных и надежных систем.

Присоединяйся к нашему растущему сообществу! Загляни в наш репозиторий GitHub, чтобы узнать больше об ИИ. Готов начать собственные проекты в области компьютерного зрения? Ознакомься с нашими вариантами лицензирования. Узнай об ИИ в производстве и зрительном ИИ в сельском хозяйстве на страницах наших решений!