Важность качественных наборов данных для компьютерного зрения

К 2019 году внедрение искусственного интеллекта (ИИ) в корпоративном секторе выросло на 270% по сравнению с предыдущими четырьмя годами. Этот рост способствовал стремительной интеграции приложений компьютерного зрения (CV) — систем ИИ, которые позволяют машинам интерпретировать и анализировать визуальные данные из окружающего мира. Эти приложения обеспечивают работу широкого спектра технологий: от обнаружения заболеваний в медицинских изображениях и обеспечения работы беспилотных транспортных средств до оптимизации транспортных потоков и улучшения систем безопасности.

Поразительная точность и непревзойденная производительность передовых моделей компьютерного зрения, таких как Ultralytics YOLO11, в значительной степени обусловили этот экспоненциальный рост. Однако производительность этих моделей сильно зависит от качества и объема данных, используемых для обучения, валидации и тестирования.

Без достаточного количества высококачественных данных модели компьютерного зрения бывает сложно эффективно обучить и настроить в соответствии с отраслевыми стандартами. В этой статье мы исследуем жизненно важную роль данных в создании моделей компьютерного зрения и объясним, почему качество данных так важно. Мы также поделимся несколькими советами, которые помогут тебе создавать высококачественные наборы данных при обучении пользовательских моделей. Давай начнем!

Link to this sectionРоль данных в создании моделей компьютерного зрения#

Модели компьютерного зрения можно обучать на больших наборах данных, состоящих из изображений и видео, чтобы они могли распознавать закономерности и делать точные прогнозы. Например, модель обнаружения объектов можно обучить на сотнях или даже тысячах размеченных изображений и видео для точной идентификации объектов.

Качество и количество этих обучающих данных напрямую влияют на производительность модели.

Поскольку модели компьютерного зрения могут обучаться только на тех данных, которые они «видели», предоставление высококачественных данных и разнообразных примеров критически важно для их успеха. Без достаточных и разнообразных наборов данных такие модели могут неверно анализировать сценарии из реальной жизни, что приведет к предвзятым или неточным результатам.

Именно поэтому важно четко понимать роль данных в обучении моделей. Прежде чем мы перейдем к характеристикам высококачественных данных, давай разберемся, с какими типами наборов данных ты можешь столкнуться при обучении моделей компьютерного зрения.

Link to this sectionТипы наборов данных для компьютерного зрения#

В компьютерном зрении данные, используемые в процессе обучения, делятся на три типа, каждый из которых служит своей цели. Вот краткий обзор каждого из них:

• Обучающие данные: Это основной набор данных, используемый для обучения модели с нуля. Он состоит из изображений и видео с предопределенными метками, позволяя модели изучать закономерности и распознавать объекты.
• Валидационные данные: Это набор данных, используемый для проверки того, насколько хорошо модель работает во время процесса обучения. Он помогает гарантировать, что модель корректно работает с новыми, ранее не виденными данными.
• Тестовые данные: Отдельный набор данных, используемый для оценки финальной производительности обученной модели. Он проверяет, насколько хорошо модель способна делать прогнозы на совершенно новых данных.

Рис. 1. Как данные классифицируются в компьютерном зрении.

Link to this sectionТоп-5 черт высококачественных наборов данных для компьютерного зрения#

Независимо от типа набора данных, высокое качество данных необходимо для создания успешных моделей компьютерного зрения. Вот некоторые из ключевых характеристик, которые делают набор данных качественным:

• Точность: В идеале данные должны максимально точно отражать реальные ситуации и содержать правильные метки. Например, когда речь идет о зрительном ИИ в здравоохранении, изображения рентгеновских снимков или сканов должны быть точно размечены, чтобы помочь модели правильно обучаться.
• Разнообразие: Хороший набор данных включает в себя множество примеров, помогающих модели хорошо работать в разных ситуациях. Например, если модель обучается обнаруживать автомобили, набор данных должен включать автомобили разных форм, размеров и цветов в различных условиях (день, ночь, дождь и т.д.).
• Согласованность: Высококачественные наборы данных следуют единому формату и стандартам качества. Например, изображения должны иметь схожее разрешение (а не быть одни размытыми, а другие четкими) и проходить через одни и те же этапы предобработки, такие как изменение размера или коррекция цвета, чтобы модель училась на согласованной информации.
• Актуальность: Наборы данных, которые регулярно обновляются, могут соответствовать реальным изменениям в мире. Допустим, ты обучаешь модель обнаруживать все типы транспортных средств. Если появляются новые, например, электрические самокаты, их следует добавить в набор данных, чтобы модель оставалась точной и актуальной.
• Конфиденциальность: Если набор данных содержит конфиденциальную информацию, например, фотографии людей, он должен соответствовать правилам конфиденциальности. Такие методы, как анонимизация (удаление идентифицируемых деталей) и маскирование данных (скрытие чувствительных частей), могут защитить частную жизнь, при этом позволяя использовать данные безопасно.

Link to this sectionПроблемы, вызванные низкокачественными данными#

Важно не только понимать черты высококачественных данных, но и осознавать, как низкое качество данных может повлиять на твои модели компьютерного зрения.

Такие проблемы, как переобучение и недообучение, могут серьезно повлиять на производительность модели. Переобучение происходит, когда модель хорошо работает на обучающих данных, но испытывает трудности с новыми данными, часто из-за отсутствия разнообразия в наборе. Недообучение, с другой стороны, возникает, когда набор данных не предоставляет достаточно примеров или качества для изучения значимых закономерностей. Чтобы избежать этих проблем, важно поддерживать разнообразные, непредвзятые и высококачественные наборы данных, обеспечивая надежную работу как при обучении, так и в реальных приложениях.

Рис. 2. Недообучение против переобучения.

Низкокачественные данные также могут затруднить извлечение и изучение значимых закономерностей из необработанных данных — процесс, известный как извлечение признаков. Если набор данных неполный, нерелевантный или недостаточно разнообразный, модель может работать неэффективно.

Иногда низкое качество данных является результатом их упрощения. Упрощение данных помогает сэкономить место для хранения и сократить расходы на обработку, но чрезмерное упрощение может привести к потере важных деталей, необходимых для корректной работы модели. Именно поэтому так важно поддерживать высокое качество данных на протяжении всего процесса компьютерного зрения, от сбора до развертывания. Как правило, наборы данных должны включать важные признаки, оставаясь при этом разнообразными и точными, чтобы гарантировать надежные прогнозы модели.

Рис. 3. Понимание извлечения признаков.

Link to this sectionСоветы по поддержанию качества набора данных для компьютерного зрения#

Теперь, когда мы поняли важность высококачественных данных и влияние низкого качества, давай разберемся, как гарантировать соответствие твоего набора данных высоким стандартам.

Все начинается с надежного сбора данных. Использование разнообразных источников, таких как краудсорсинг, данные из разных географических регионов и генерация синтетических данных, снижает предвзятость и помогает моделям справляться с реальными сценариями. После сбора данных критически важна предобработка. Такие методы, как нормализация, которая масштабирует значения пикселей к единому диапазону, и аугментация, которая применяет преобразования типа поворотов, отражений и зумирования, улучшают набор данных. Эти шаги помогают твоей модели лучше обобщать данные и становятся более устойчивыми, снижая риск переобучения.

Правильное разделение наборов данных — еще один ключевой шаг. Общий подход заключается в выделении 70% данных на обучение, 15% на валидацию и 15% на тестирование. Проверка отсутствия пересечений между этими множествами предотвращает «утечку данных» и обеспечивает точную оценку модели.

Рис. 4. Распространенный способ разделения данных на обучение, валидацию и тестирование.

Ты также можешь использовать предобученные модели, такие как YOLO11, чтобы сэкономить время и вычислительные ресурсы. YOLO11, обученная на больших наборах данных и предназначенная для различных задач компьютерного зрения, может быть дообучена на твоем конкретном наборе данных для удовлетворения твоих потребностей. Настраивая модель под свои данные, ты можешь избежать переобучения и сохранить высокую производительность.

Link to this sectionБудущее наборов данных для компьютерного зрения#

Сообщество ИИ традиционно фокусировалось на улучшении производительности путем создания более глубоких моделей с большим количеством слоев. Однако по мере развития ИИ внимание смещается с оптимизации моделей на улучшение качества наборов данных. Эндрю Ын, которого часто называют «отцом ИИ», считает, что «важнейшим сдвигом, через который ИИ-индустрия должна пройти в этом десятилетии, станет переход к ИИ, ориентированному на данные».

Этот подход делает упор на доработку наборов данных путем повышения точности разметки, удаления шумных примеров и обеспечения разнообразия. Для компьютерного зрения эти принципы критически важны для решения проблем предвзятости и низкого качества данных, позволяя моделям надежно работать в реальных условиях.

Заглядывая в будущее, развитие компьютерного зрения будет зависеть от создания меньших по размеру, но более качественных наборов данных, а не от сбора огромных объемов данных. По словам Эндрю Ына: «Улучшение данных — это не разовая стадия предварительной обработки; это ключевая часть итеративного процесса разработки моделей машинного обучения». Сосредоточившись на принципах, ориентированных на данные, компьютерное зрение станет более доступным, эффективным и полезным в различных отраслях.

Link to this sectionОсновные выводы#

Данные играют важнейшую роль на протяжении всего жизненного цикла модели зрения. От сбора данных до предобработки, обучения, валидации и тестирования — качество данных напрямую влияет на производительность и надежность модели. Отдавая приоритет качеству данных и точной разметке, мы можем создавать надежные модели компьютерного зрения, которые обеспечивают точные и стабильные результаты.

Двигаясь к будущему, управляемому данными, важно учитывать этические аспекты, чтобы снизить риски, связанные с предвзятостью и правилами конфиденциальности. В конечном итоге обеспечение целостности и справедливости данных — это ключ к раскрытию полного потенциала технологий компьютерного зрения.

Присоединяйся к нашему сообществу и загляни в наш репозиторий на GitHub, чтобы узнать больше об ИИ. Ознакомься с нашими страницами решений, чтобы изучить больше вариантов применения ИИ в таких секторах, как сельское хозяйство и производство.