Data Labeling

Разметка данных — это процесс добавления к исходным данным информации об эталонной разметке: например, названия класса для изображения, ограничивающей рамки вокруг каждой машины на уличной фотографии или расшифровки аудиофрагмента, чтобы модели обучения с учителем могли учиться на этих данных. Метки определяют задачу: модель учится предсказывать именно то, что описывают метки, с той же точностью и единообразием. Аннотирование данных — синоним этого термина, а людей, выполняющих такую работу, называют разметчиками или аннотаторами. Разметка обычно оказывается самым долгим и дорогим этапом создания обучающих данных, поэтому во многих рабочих процессах модель предлагает метки, а люди их исправляют.

Типы меток в компьютерном зрении#

Формат меток зависит от задачи, которую должна выполнять модель:

• Классификация изображений: Один класс на изображение, например «дефектная деталь» или «годная деталь» на инспекционной линии.
• Обнаружение объектов: Ориентированная по осям рамка и класс для каждого интересующего объекта.
• Повернутые ограничивающие рамки: Повернутые рамки, подходящие для вытянутых или наклонённых объектов, например кораблей и автомобилей на аэрофотоснимках.
• Сегментация экземпляров: Многоугольник или попиксельная маска, отдельно очерчивающие каждый объект.
• Семантическая сегментация: Класс для каждого пикселя — например, дорога, тротуар или небо — без разделения отдельных объектов.
• Оценка позы: Ключевые точки в фиксированных характерных местах, например 17 точек COCO от носа и глаз до лодыжек; для каждой часто указывают флаг видимости.

Затраты труда растут вместе с детализацией. Создание одной качественной рамки для набора данных конкурса ImageNet ILSVRC занимало около 35 секунд, а метод экстремальных щелчков, при котором аннотаторы щёлкают в самой верхней, нижней, левой и правой точках объекта вместо перетаскивания углов, сокращал это время до 7 секунд при том же качестве рамок. На многоугольники и попиксельные маски требуется ещё больше времени. В задачах вне компьютерного зрения метки обозначают фрагменты сущностей для распознавания именованных сущностей (NER), тональность для классификации текста и расшифровки для распознавания речи.

Процесс разметки#

Перед началом работы над проектом по разметке составляют письменные инструкции, в которых определяют каждый класс и разбирают спорные случаи: нужно ли обводить машину, скрытую на 90%, насколько плотно обводить конечности велосипедиста и как поступать с отражениями, крошечными объектами и скоплениями объектов. При разметке с помощью модели модель, обученная на уже имеющихся метках, предварительно размечает новые изображения, аннотаторы исправляют её ошибки, проверяющие оценивают выборку, а каждая переобученная модель точнее предлагает варианты для следующего цикла. Активное обучение добавляет в этот процесс этап отбора, чтобы люди в первую очередь размечали изображения, в которых текущая модель уверена меньше всего.

Редактор аннотаций на платформе Ultralytics поддерживает такой рабочий цикл: режим Smart превращает один щелчок в маску с помощью моделей Segment Anything от Meta или добавляет предсказания предварительно обученных либо дообученных тобой моделей YOLO в виде черновых аннотаций. Тот же этап предварительной разметки выполняется в Python с помощью детектора YOLO26, который записывает предсказания в формате меток, используемом при обучении:

from pathlib import Path

from ultralytics import YOLO

# Загрузи предварительно обученный компактный детектор YOLO26 nano, чтобы предлагать метки
model = YOLO("yolo26n.pt")

# Выполни предсказание для неразмеченного изображения
results = model("https://ultralytics.com/images/bus.jpg")
result = results[0]

# Запиши для каждого объекта строку «class x_center y_center width height», нормализованную до диапазона 0–1
label_file = result.save_txt("bus.txt")

# Выведи черновые метки, которые проверит аннотатор
print(Path(label_file).read_text())

Каждая выведенная строка содержит индекс класса COCO, а затем координаты центра бокса, его ширину и высоту в долях размера изображения. Это формат меток YOLO, который обучение считывает напрямую после того, как разметчик исправит неверные или пропущенные боксы. Для классов, неизвестных предварительно обученным детекторам, Ultralytics Platform может автоматически размечать наборы данных для обнаружения объектов с помощью визуально-языковых моделей, которые находят объекты по названиям. Таблица лидеров VLM сравнивает точность разметки реальных изображений каждой моделью.

Качество меток#

Модель не может быть последовательнее своих меток, а ошибки встречаются даже в известных наборах данных. В исследовании ошибок разметки в 10 широко используемых тестовых наборах подсчитали, что в среднем неверно размечено не менее 3,3% тестовых данных, включая как минимум 6% валидационной выборки ImageNet. Команды выявляют ошибки с помощью нескольких стандартных проверок:

• Контрольные вопросы: Элементы с известными ответами добавляют в очередь каждого разметчика, чтобы измерять его точность; часто их берут из эталонного набора данных.
• Перекрёстная разметка: Два или более аннотатора размечают одни и те же элементы, а степень их согласия оценивают с помощью каппы Коэна для меток классов или пересечения по объединению (IoU) для их рамок и масок.
• Аудит на основе модели: Обученная модель отмечает метки, с которыми она категорически не согласна, а такие инструменты, как cleanlab, ранжируют наиболее вероятные ошибки разметки для проверки человеком.

Разметка данных и смежные понятия#

• Аннотирование данных: Синоним разметки. Команды компьютерного зрения обычно используют термин «аннотирование» для нарисованной геометрии, например рамок и масок.
• Полуконтролируемое обучение: Модель самостоятельно размечает неразмеченные данные и сохраняет собственные уверенные предсказания в качестве псевдометок без проверки человеком.
• Активное обучение: Определяет, какие элементы люди будут размечать дальше; обычно выбирают те, в которых текущая модель уверена меньше всего.
• Очистка данных: Устраняет проблемы набора данных, например дубликаты, повреждённые файлы и несогласованные форматы, в том числе исправляет неверные метки, найденные после разметки.
• Синтетические данные: Отрисованные или сгенерированные изображения, для которых генератор бесплатно предоставляет метки, поскольку расположение объектов в сцене известно точно; недостаток этого подхода — разрыв между синтетическими и реальными изображениями.