Разметка данных

Маркировка данных — это процесс идентификации необработанных данных (таких как изображения, текстовые файлы или видео) и добавления одной или нескольких информативных меток или аннотаций для предоставления контекста, позволяющего модели машинного обучения учиться на них. Этот процесс является основополагающим для обучения с учителем, где размеченный набор данных действует как «золотой стандарт», который алгоритм использует для обучения, чтобы делать точные прогнозы на основе новых, неразмеченных данных. Высококачественная маркировка данных является одним из самых важных и трудоемких этапов в создании надежной модели ИИ, поскольку производительность модели напрямую зависит от качества и точности меток, на которых она учится.

Почему важна разметка данных?

Маркировка данных обеспечивает необходимую основу для понимания и интерпретации мира моделями. В компьютерном зрении (КЗ) метки учат модель распознавать, что представляет собой объект и где он находится на изображении. Без точных меток модель не может изучить закономерности, необходимые для выполнения своей задачи, что приводит к низкой точности и ненадежности. Качество обучающих данных, которые создаются посредством маркировки, напрямую определяет качество результирующего ИИ. Этот принцип часто резюмируется как «что посеешь, то и пожнешь». Хорошо размеченные эталонные наборы данных, такие как COCO и ImageNet, сыграли важную роль в продвижении современного уровня развития компьютерного зрения.

Типы разметки данных в компьютерном зрении

Различные задачи CV требуют различных типов аннотаций. Наиболее распространенные методы включают:

• Классификация изображений: Простейшая форма, когда одному изображению присваивается одна метка для описания его содержимого (например, «кошка», «собака»). Вы можете изучить наборы данных для этой задачи, такие как CIFAR-100.
• Детекция объектов: Включает в себя рисование ограничивающей рамки вокруг каждого интересующего объекта на изображении и присвоение ему метки класса. Это сообщает модели, что это за объект и где он находится.
• Сегментация изображений: Более детальный метод, который включает в себя выделение точной формы объекта на уровне пикселей. Это можно разделить на семантическую сегментацию, где все объекты одного класса имеют одну маску, и сегментацию экземпляров, где каждый отдельный экземпляр объекта сегментируется отдельно.
• Оценка позы: Этот метод определяет положение и ориентацию объектов путем аннотирования ключевых точек. Например, при оценке позы человека ключевые точки будут отмечать суставы, такие как локти, колени и запястья. Набор данных COCO Keypoints является популярным ресурсом для этой задачи.

Применение в реальном мире

1. Автономные транспортные средства: Маркировка данных необходима для обучения систем восприятия самоуправляемых автомобилей. Люди, выполняющие аннотации, тщательно маркируют миллионы изображений и видеокадров, рисуя ограничивающие рамки вокруг автомобилей, пешеходов и велосипедистов, сегментируя дорожную разметку и классифицируя дорожные знаки. Эти богатые, маркированные данные позволяют таким моделям, как Ultralytics YOLO11, научиться безопасно перемещаться в сложных городских условиях. Работа, выполняемая такими компаниями, как Waymo, в значительной степени зависит от обширных, точно маркированных наборов данных. Вы можете узнать больше об этой области на нашей странице решений ИИ в автомобильной промышленности.
2. Анализ медицинских изображений: В ИИ в здравоохранении рентгенологи и медицинские эксперты маркируют сканы, такие как МРТ, КТ и рентгеновские снимки, для выявления опухолей, поражений и других аномалий. Например, в наборе данных об опухолях головного мозга эксперты очерчивают точные границы опухоли. Эти маркированные данные используются для обучения моделей, которые могут помочь в ранней диагностике, потенциально снижая нагрузку на медицинских работников и улучшая результаты лечения пациентов. Радиологическое общество Северной Америки (RSNA) активно изучает роль ИИ в медицинской диагностике.

Маркировка данных в сравнении со смежными понятиями

Маркировка данных часто выполняется вместе с другими задачами подготовки данных, но важно различать их:

• Data Augmentation / Аугментация данных: Этот метод искусственно расширяет обучающий набор данных, создавая измененные версии уже размеченных данных (например, поворот, отражение или изменение яркости изображения). Аугментация увеличивает разнообразие данных, но зависит от исходного набора размеченных данных. Обзор аугментации данных содержит более подробную информацию.
• Data Cleaning / Очистка данных: Этот процесс включает в себя выявление и исправление или удаление ошибок, несоответствий и неточностей в наборе данных. Хотя это может включать исправление неверных меток, очистка данных является этапом обеспечения качества, тогда как маркировка данных — это первоначальное действие по созданию аннотаций. Очистка данных в Википедии предлагает дополнительный контекст.
• Data Preprocessing / Предварительная обработка данных: Это более широкий общий термин, который охватывает маркировку данных, очистку и другие преобразования, такие как нормализация или изменение размера изображений, чтобы подготовить их для модели. Маркировка — это конкретный, важный шаг в рамках более крупного конвейера предварительной обработки.

Проблемы и решения

Несмотря на свою важность, разметка данных сопряжена с проблемами, включая высокие затраты, значительные временные затраты и возможность человеческой ошибки или субъективности. Обеспечение качества и согласованности меток в больших командах аннотаторов является серьезной логистической проблемой.

Для оптимизации этого процесса команды часто используют специализированные инструменты аннотации, такие как CVAT, или платформы, такие как Ultralytics HUB, которые обеспечивают среду для совместной работы, управления наборами данных и рабочими процессами маркировки. Кроме того, передовые методы, такие как активное обучение, могут помочь, интеллектуально выбирая наиболее информативные точки данных для маркировки, оптимизируя использование времени и усилий людей, занимающихся аннотациями. Как подробно описано в статье Стэнфордской лаборатории искусственного интеллекта, ключевым фактором успеха ИИ является акцент на качестве данных.