Важность качественных наборов данных для компьютерного зрения

К 2019 году внедрение искусственного интеллекта (AI) в компаниях выросло на 270% за предыдущие четыре года. Этот рост ускорил интеграцию приложений компьютерного зрения (CV) — систем ИИ, которые позволяют машинам интерпретировать и анализировать визуальные данные об окружающем мире. Эти приложения лежат в основе самых разных технологий: от выявления заболеваний на медицинских снимках и создания беспилотных автомобилей до оптимизации транспортных потоков и усиления видеонаблюдения в системах безопасности.

Точность и производительность современных моделей компьютерного зрения, таких как Ultralytics YOLO11, способствовали этому росту. Однако производительность этих моделей во многом зависит от качества и количества данных, используемых для их обучения, валидации и тестирования.

Без достаточного количества качественных данных модели компьютерного зрения сложно эффективно обучать и дообучать в соответствии с отраслевыми стандартами. В этой статье мы рассмотрим важнейшую роль данных в создании моделей компьютерного зрения и объясним, почему их высокое качество так важно. Также поделимся советами по созданию качественных наборов данных для обучения собственных моделей компьютерного зрения.

Роль данных в создании моделей компьютерного зрения#

Модели компьютерного зрения можно обучать на больших наборах данных с изображениями и видео, чтобы распознавать закономерности и делать точные прогнозы. Например, модель обнаружения объектов можно обучить на сотнях или даже тысячах размеченных изображений и видео, чтобы точно распознавать объекты.

Качество и количество обучающих данных влияют на производительность модели.

Поскольку модели компьютерного зрения могут учиться только на тех данных, с которыми работают, для их успешного обучения крайне важно предоставлять качественные данные и разнообразные примеры. Без достаточного количества разнообразных наборов данных эти модели могут неточно анализировать реальные ситуации и выдавать предвзятые или ошибочные результаты.

Поэтому важно четко понимать роль данных в обучении моделей. Прежде чем рассмотреть характеристики качественных данных, давай разберемся, с какими типами наборов данных ты можешь столкнуться при обучении моделей компьютерного зрения.

Типы наборов данных для компьютерного зрения#

В компьютерном зрении данные, используемые в процессе обучения, делятся на три типа, каждый из которых выполняет свою задачу. Кратко рассмотрим каждый тип:

• Обучающие данные: основной набор данных, используемый для обучения модели с нуля. Он состоит из изображений и видео с заранее заданными метками, которые помогают модели изучать закономерности и распознавать объекты.
• Валидационные данные: набор данных, используемый для проверки качества работы модели в процессе обучения. Он помогает убедиться, что модель корректно работает с новыми данными, которые она еще не видела.
• Тестовые данные: отдельный набор данных для оценки итоговой производительности обученной модели. Он показывает, насколько хорошо модель делает прогнозы на совершенно новых, ранее не встречавшихся ей данных.

Рис. 1. Как классифицируются данные в компьютерном зрении.

5 главных признаков качественных наборов данных для компьютерного зрения#

Независимо от типа набора данных, качественные данные необходимы для создания успешных моделей компьютерного зрения. Вот некоторые ключевые характеристики качественного набора данных:

• Точность: в идеале данные должны максимально соответствовать реальным условиям и содержать правильные метки. Например, для применения ИИ в здравоохранении рентгеновские снимки и другие медицинские изображения должны быть точно размечены, чтобы модель могла правильно обучаться.
• Разнообразие: хороший набор данных включает в себя множество разных примеров, чтобы модель хорошо работала в различных ситуациях. Например, если модель учится обнаруживать автомобили, набор данных должен содержать машины разной формы, размера и цвета в разных условиях (днем, ночью, под дождем и т. д.).
• Единообразие: качественные наборы данных соответствуют единому формату и стандартам качества. Например, изображения должны иметь схожее разрешение (а не быть одни размытыми, а другие четкими) и проходить одинаковые этапы предварительной обработки, такие как изменение размера или цветокоррекция, чтобы модель обучалась на согласованных данных.
• Актуальность: регулярно обновляемые наборы данных позволяют учитывать изменения в реальном мире. Предположим, ты обучаешь модель обнаруживать все типы транспортных средств. Когда появляются новые, например электросамокаты, их следует добавить в набор данных, чтобы модель оставалась точной и актуальной.
• Конфиденциальность: если набор данных содержит конфиденциальную информацию, например фотографии людей, необходимо соблюдать правила защиты персональных данных. Такие методы, как анонимизация (удаление идентифицирующих сведений) и маскирование данных (скрытие конфиденциальных частей), помогают защитить приватность и при этом безопасно использовать данные.

Проблемы, вызванные некачественными данными#

Важно понимать, какими свойствами обладают качественные данные, но не менее важно учитывать, как некачественные данные могут повлиять на модели компьютерного зрения.

Такие проблемы, как переобучение и недообучение, могут серьезно повлиять на производительность модели. Переобучение возникает, когда модель хорошо работает на обучающих данных, но не справляется с новыми или ранее не встречавшимися данными, часто из-за недостаточного разнообразия набора данных. Недообучение, напротив, возникает, когда в наборе данных недостаточно примеров или их качество не позволяет модели усвоить значимые закономерности. Чтобы избежать этих проблем, важно использовать разнообразные, непредвзятые и качественные наборы данных — это обеспечит надежную работу модели как при обучении, так и в реальных условиях.

Рис. 2. Недообучение и переобучение.

Данные низкого качества также мешают моделям извлекать и усваивать значимые закономерности из исходных данных — этот процесс называется извлечением признаков. Если набор данных неполный, неуместный или недостаточно разнообразный, модели может быть трудно эффективно работать.

Иногда низкое качество данных становится следствием их чрезмерного упрощения. Упрощение данных может сэкономить место для хранения и снизить затраты на обработку, но чрезмерное упрощение способно удалить важные детали, необходимые модели для эффективной работы. Поэтому крайне важно поддерживать высокое качество данных на всех этапах процесса компьютерного зрения — от сбора до развертывания. Как правило, наборы данных должны включать важные признаки, оставаясь разнообразными и точными, чтобы обеспечивать надёжные прогнозы модели.

Рис. 3. Что такое извлечение признаков.

Как поддерживать качество набора данных для компьютерного зрения#

Теперь, когда мы разобрались в важности качественных данных и влиянии некачественных данных, давай рассмотрим, как убедиться, что твой набор данных соответствует высоким стандартам.

Всё начинается с надёжного сбора данных. Разнообразные источники, такие как краудсорсинг, данные из разных географических регионов и генерация синтетических данных, снижают смещение и помогают моделям справляться с реальными сценариями. После сбора данных важную роль играет предварительная обработка. Нормализация приводит значения пикселей к единому диапазону, а аугментация применяет такие преобразования, как поворот, отражение и масштабирование, улучшая набор данных. Эти шаги помогают модели лучше обобщать и повышают её устойчивость, снижая риск переобучения.

Ещё один важный шаг — правильное разделение наборов данных. Обычно 70% данных выделяют для обучения, 15% — для валидации и 15% — для тестирования. Убедись, что эти наборы не пересекаются: так ты предотвратишь утечку данных и обеспечишь точную оценку модели.

Рис. 4. Типичное разделение данных на обучающую, валидационную и тестовую выборки.

Чтобы сэкономить время и вычислительные ресурсы, можно использовать предобученные модели, например YOLO11. YOLO11 обучена на больших наборах данных и предназначена для решения различных задач компьютерного зрения. Её можно дообучить на собственном наборе данных под свои задачи. Адаптация модели к твоим данным поможет избежать переобучения и сохранить высокую производительность.

Будущее наборов данных для компьютерного зрения#

Традиционно сообщество ИИ стремилось повышать производительность, создавая более глубокие модели с большим числом слоёв. Однако по мере развития ИИ акцент смещается с оптимизации моделей на повышение качества наборов данных. Эндрю Ын считает, что «самое важное изменение, которое должно произойти в мире ИИ в этом десятилетии, — переход к ИИ, ориентированному на данные».

Этот подход делает акцент на улучшении наборов данных: повышении точности разметки, удалении зашумленных примеров и обеспечении разнообразия. Для компьютерного зрения эти принципы крайне важны, поскольку помогают решать проблемы предвзятости и низкого качества данных, позволяя моделям надежно работать в реальных условиях.

В будущем развитие компьютерного зрения будет зависеть от создания небольших, но качественных наборов данных, а не от сбора огромных объёмов информации. Как говорит Эндрю Ын: «Улучшение данных — это не разовый шаг предварительной обработки, а основная часть итеративного процесса разработки моделей машинного обучения». Ориентация на данные позволит компьютерному зрению и дальше становиться доступнее, эффективнее и полезнее в самых разных отраслях.

Главные выводы#

Данные играют ключевую роль на всех этапах жизненного цикла модели компьютерного зрения. От сбора и предварительной обработки данных до обучения, валидации и тестирования — их качество напрямую влияет на производительность и надежность модели. Если отдавать приоритет качественным данным и точной разметке, можно создавать надежные модели компьютерного зрения, которые обеспечивают стабильные и точные результаты.

На пути к будущему, основанному на данных, важно учитывать этические аспекты, чтобы снизить риски, связанные с предвзятостью и требованиями к конфиденциальности. В конечном счете, целостность и справедливость данных — ключ к раскрытию всего потенциала технологий компьютерного зрения.

Присоединяйся к нашему сообществу и загляни в наш репозиторий на GitHub, чтобы узнать больше об ИИ. Посмотри страницы с нашими решениями и изучи другие способы применения ИИ в таких отраслях, как сельское хозяйство и производство.