Важность высококачественных наборов данных для компьютерного зрения

По состоянию на 2019 год внедрение искусственного интеллекта (AI) в компаниях увеличилось на 270% за предыдущие четыре года. Этот рост ускорил стремительную интеграцию приложений для компьютерного зрения (CV) — систем искусственного интеллекта, которые позволяют машинам интерпретировать и анализировать визуальные данные окружающего мира. Эти приложения используются в широком спектре технологий: от выявления заболеваний с помощью медицинской визуализации и обеспечения работы автономных транспортных средств до оптимизации транспортных потоков и совершенствования систем видеонаблюдения.

Именно выдающаяся точность и непревзойдённая производительность передовых моделей компьютерного зрения, таких как Ultralytics YOLO11, в значительной степени обусловили этот экспоненциальный рост. Однако производительность этих моделей сильно зависит от качества и количества данных, используемых для их обучения, валидации и тестирования.

Без достаточного количества высококачественных данных модели компьютерного зрения бывает сложно эффективно обучать и дообучать в соответствии с отраслевыми стандартами. В этой статье мы рассмотрим важнейшую роль данных в создании моделей компьютерного зрения и объясним, почему высококачественные данные так важны для компьютерного зрения. Мы также разберём несколько советов, которые помогут тебе создавать высококачественные наборы данных при обучении собственных моделей компьютерного зрения. Начнём!

Роль данных в создании моделей компьютерного зрения#

Модели компьютерного зрения можно обучать на больших наборах данных, содержащих изображения и видео, чтобы они распознавали закономерности и делали точные прогнозы. Например, модель обнаружения объектов можно обучить на сотнях или даже тысячах размеченных изображений и видео для точной идентификации объектов.

Качество и количество обучающих данных влияют на производительность модели.

Поскольку модели компьютерного зрения могут учиться только на данных, с которыми они взаимодействуют, для их успешной работы крайне важно предоставлять высококачественные данные и разнообразные примеры. Без достаточных и разнообразных наборов данных эти модели могут неточно анализировать реальные сценарии и выдавать предвзятые или неточные результаты.

Поэтому важно чётко понимать роль данных в обучении модели. Прежде чем рассмотреть характеристики высококачественных данных, давай разберёмся с типами наборов данных, которые могут встретиться при обучении моделей компьютерного зрения.

Типы наборов данных для компьютерного зрения#

В компьютерном зрении данные, используемые в процессе обучения, делятся на три типа, каждый из которых выполняет определённую задачу. Кратко рассмотрим каждый из них:

• Обучающие данные: основной набор данных, используемый для обучения модели с нуля. Он состоит из изображений и видео с заранее заданными метками, благодаря которым модель учится распознавать закономерности и объекты.
• Валидационные данные: набор данных, используемый для проверки качества работы модели во время обучения. Он помогает убедиться, что модель корректно работает с новыми, ранее не встречавшимися данными.
• Тестовые данные: отдельный набор данных, используемый для оценки итоговой производительности обученной модели. Он показывает, насколько хорошо модель может делать прогнозы на полностью новых, ранее не встречавшихся данных.

Рис. 1. Как классифицируются данные в компьютерном зрении.

5 главных характеристик высококачественных наборов данных для компьютерного зрения#

Независимо от типа набора данных, высококачественные данные необходимы для создания эффективных моделей компьютерного зрения. Вот некоторые ключевые характеристики, которые делают набор данных высококачественным:

• Точность: в идеале данные должны максимально точно отражать реальные ситуации и содержать корректные метки. Например, в случае AI для компьютерного зрения в здравоохранении изображения рентгеновских снимков или сканирований должны быть размечены точно, чтобы модель могла правильно обучаться.
• Разнообразие: хороший набор данных содержит множество различных примеров, помогающих модели эффективно работать в разных ситуациях. Например, если модель обучается обнаруживать автомобили, набор данных должен включать автомобили разных форм, размеров и цветов в различных условиях (днём, ночью, под дождём и т. д.).
• Согласованность: высококачественные наборы данных соответствуют единому формату и стандартам качества. Например, изображения должны иметь схожее разрешение (не быть частью размытыми, а частью чёткими) и проходить одинаковые этапы предварительной обработки, такие как изменение размера или коррекция цвета, чтобы модель обучалась на согласованной информации.
• Актуальность: регулярно обновляемые наборы данных успевают за изменениями реального мира. Допустим, ты обучаешь модель для обнаружения всех типов транспортных средств. Если появляются новые виды, например электросамокаты, их следует добавить в набор данных, чтобы модель сохраняла точность и актуальность.
• Конфиденциальность: если набор данных содержит конфиденциальную информацию, например фотографии людей, он должен соответствовать правилам защиты конфиденциальности. Такие методы, как анонимизация (удаление идентифицирующих деталей) и маскирование данных (скрытие конфиденциальных частей), помогают защитить конфиденциальность и при этом сохранить возможность безопасно использовать данные.

Проблемы, вызванные низкокачественными данными#

Важно понимать характеристики высококачественных данных, но не менее важно учитывать, как низкокачественные данные могут повлиять на твои модели компьютерного зрения.

Такие проблемы, как переобучение и недообучение, могут серьёзно повлиять на производительность модели. Переобучение возникает, когда модель хорошо работает на обучающих данных, но испытывает трудности с новыми или ранее не встречавшимися данными, часто из-за недостаточного разнообразия набора данных. Недообучение, напротив, возникает, когда набор данных не предоставляет модели достаточного количества примеров или данных надлежащего качества для изучения значимых закономерностей. Чтобы избежать этих проблем, важно поддерживать разнообразие, объективность и высокое качество наборов данных, обеспечивая надёжную работу как во время обучения, так и в реальных приложениях.

Рис. 2. Недообучение и переобучение.

Низкокачественные данные также могут затруднить извлечение и изучение моделью значимых закономерностей из исходных данных — этот процесс называется извлечением признаков. Если набор данных неполный, нерелевантный или недостаточно разнообразный, модель может работать неэффективно.

Иногда низкое качество данных может быть результатом их упрощения. Упрощение данных помогает сэкономить место в хранилище и снизить затраты на обработку, но чрезмерное упрощение может удалить важные детали, необходимые модели для эффективной работы. Поэтому крайне важно поддерживать высокое качество данных на протяжении всего процесса компьютерного зрения — от сбора до развёртывания. Как правило, наборы данных должны содержать важные признаки, оставаясь при этом разнообразными и точными, чтобы гарантировать надёжные прогнозы модели.

Рис. 3. Понимание извлечения признаков.

Советы по поддержанию качества набора данных для компьютерного зрения#

Теперь, когда мы разобрались с важностью высококачественных данных и влиянием низкокачественных данных, давай рассмотрим, как убедиться, что твой набор данных соответствует высоким стандартам.

Всё начинается с надёжного сбора данных. Использование разнообразных источников, таких как краудсорсинг, данные из различных географических регионов и генерация синтетических данных, снижает предвзятость и помогает моделям работать с реальными сценариями. После сбора данных критически важна предварительная обработка. Такие методы, как нормализация, которая приводит значения пикселей к единому диапазону, и аугментация, применяющая преобразования вроде поворота, отражения и масштабирования, улучшают набор данных. Эти шаги помогают модели лучше обобщать данные и повышают её устойчивость, снижая риск переобучения.

Правильное разделение наборов данных — ещё один важный этап. Распространённый подход заключается в распределении 70% данных на обучение, 15% на валидацию и 15% на тестирование. Повторная проверка отсутствия пересечений между этими наборами предотвращает утечку данных и обеспечивает точную оценку модели.

Рис. 4. Распространённое разделение данных между обучением, валидацией и тестированием.

Ты также можешь использовать предобученные модели, такие как YOLO11, чтобы сэкономить время и вычислительные ресурсы. YOLO11, обученная на больших наборах данных и предназначенная для различных задач компьютерного зрения, может быть дообучена на твоём конкретном наборе данных в соответствии с твоими потребностями. Адаптируя модель к своим данным, ты сможешь избежать переобучения и сохранить высокую производительность.

Будущее наборов данных для компьютерного зрения#

Сообщество AI традиционно стремилось повышать производительность, создавая более глубокие модели с большим количеством слоёв. Однако по мере развития AI фокус смещается с оптимизации моделей на повышение качества наборов данных. Эндрю Ын, которого часто называют «отцом AI», считает, что «самый важный переход, который должен совершить мир AI в этом десятилетии, — это переход к AI, ориентированному на данные».

Этот подход делает акцент на совершенствовании наборов данных: повышении точности меток, удалении зашумленных примеров и обеспечении разнообразия. Для компьютерного зрения эти принципы критически важны для решения таких проблем, как предвзятость и низкое качество данных, и позволяют моделям надёжно работать в реальных сценариях.

В будущем развитие компьютерного зрения будет зависеть от создания небольших высококачественных наборов данных, а не от сбора огромных объёмов данных. По словам Эндрю Ына, «улучшение данных — это не разовый этап предварительной обработки, а ключевая часть итеративного процесса разработки моделей машинного обучения». Благодаря принципам подхода, ориентированного на данные, компьютерное зрение продолжит становиться более доступным, эффективным и полезным в различных отраслях.

Основные выводы#

Данные играют критически важную роль на протяжении всего жизненного цикла модели компьютерного зрения. От сбора данных до предварительной обработки, обучения, валидации и тестирования качество данных напрямую влияет на производительность и надёжность модели. Уделяя приоритетное внимание высококачественным данным и точной разметке, мы можем создавать устойчивые модели компьютерного зрения, обеспечивающие надёжные и точные результаты.

По мере движения к будущему, основанному на данных, важно учитывать этические аспекты, чтобы снизить риски, связанные с предвзятостью и требованиями законодательства о конфиденциальности. В конечном счёте, обеспечение целостности и справедливости данных — ключ к раскрытию полного потенциала технологий компьютерного зрения.

Присоединяйся к нашему сообществу и загляни в наш репозиторий GitHub, чтобы узнать больше об AI. Посети страницы наших решений, чтобы ознакомиться с другими приложениями AI в таких отраслях, как сельское хозяйство и производство.