Data Labeling

Разметка данных — это процесс добавления к исходным данным информации об эталонной разметке: например, названия класса для изображения, ограничивающей рамки вокруг каждой машины на уличной фотографии или расшифровки аудиофрагмента, чтобы модели обучения с учителем могли учиться на этих данных. Метки определяют задачу: модель учится предсказывать именно то, что описывают метки, с той же точностью и единообразием. Аннотирование данных — синоним этого термина, а людей, выполняющих такую работу, называют разметчиками или аннотаторами. Разметка обычно оказывается самым долгим и дорогим этапом создания обучающих данных, поэтому во многих рабочих процессах модель предлагает метки, а люди их исправляют.

Типы меток в компьютерном зрении#

Формат меток зависит от задачи, которую должна выполнять модель:

• Классификация изображений: Один класс на изображение, например «дефектная деталь» или «годная деталь» на инспекционной линии.
• Обнаружение объектов: Ориентированная по осям рамка и класс для каждого интересующего объекта.
• Повернутые ограничивающие рамки: Повернутые рамки, подходящие для вытянутых или наклонённых объектов, например кораблей и автомобилей на аэрофотоснимках.
• Сегментация экземпляров: Многоугольник или попиксельная маска, отдельно очерчивающие каждый объект.
• Семантическая сегментация: Класс для каждого пикселя — например, дорога, тротуар или небо — без разделения отдельных объектов.
• Оценка позы: Ключевые точки в фиксированных характерных местах, например 17 точек COCO от носа и глаз до лодыжек; для каждой часто указывают флаг видимости.

Затраты труда растут вместе с детализацией. Создание одной качественной рамки для набора данных конкурса ImageNet ILSVRC занимало около 35 секунд, а метод экстремальных щелчков, при котором аннотаторы щёлкают в самой верхней, нижней, левой и правой точках объекта вместо перетаскивания углов, сокращал это время до 7 секунд при том же качестве рамок. На многоугольники и попиксельные маски требуется ещё больше времени. В задачах вне компьютерного зрения метки обозначают фрагменты сущностей для распознавания именованных сущностей (NER), тональность для классификации текста и расшифровки для распознавания речи.

Процесс разметки#

Перед началом работы над проектом по разметке составляют письменные инструкции, в которых определяют каждый класс и разбирают спорные случаи: нужно ли обводить машину, скрытую на 90%, насколько плотно обводить конечности велосипедиста и как поступать с отражениями, крошечными объектами и скоплениями объектов. При разметке с помощью модели модель, обученная на уже имеющихся метках, предварительно размечает новые изображения, аннотаторы исправляют её ошибки, проверяющие оценивают выборку, а каждая переобученная модель точнее предлагает варианты для следующего цикла. Активное обучение добавляет в этот процесс этап отбора, чтобы люди в первую очередь размечали изображения, в которых текущая модель уверена меньше всего.

Редактор аннотаций на платформе Ultralytics поддерживает такой рабочий цикл: режим Smart превращает один щелчок в маску с помощью моделей Segment Anything от Meta или добавляет предсказания предварительно обученных либо дообученных тобой моделей YOLO в виде черновых аннотаций. Тот же этап предварительной разметки выполняется в Python с помощью детектора YOLO26, который записывает предсказания в формате меток, используемом при обучении:

from pathlib import Path

from ultralytics import YOLO

# Загрузи предварительно обученный компактный детектор YOLO26 nano, чтобы предлагать метки
model = YOLO("yolo26n.pt")

# Выполни предсказание для неразмеченного изображения
results = model("https://ultralytics.com/images/bus.jpg")
result = results[0]

# Запиши для каждого объекта строку «class x_center y_center width height», нормализованную до диапазона 0–1
label_file = result.save_txt("bus.txt")

# Выведи черновые метки, которые проверит аннотатор
print(Path(label_file).read_text())

Каждая выведенная строка содержит индекс класса COCO, за которым следуют центр рамки, её ширина и высота в долях от размера изображения. Это формат меток YOLO, который обучение считывает напрямую после того, как аннотатор исправит неверные или отсутствующие рамки.

Качество меток#

Модель не может быть последовательнее своих меток, а ошибки встречаются даже в известных наборах данных. В исследовании ошибок разметки в 10 широко используемых тестовых наборах подсчитали, что в среднем неверно размечено не менее 3,3% тестовых данных, включая как минимум 6% валидационной выборки ImageNet. Команды выявляют ошибки с помощью нескольких стандартных проверок:

• Контрольные вопросы: Элементы с известными ответами добавляют в очередь каждого разметчика, чтобы измерять его точность; часто их берут из эталонного набора данных.
• Перекрёстная разметка: Два или более аннотатора размечают одни и те же элементы, а степень их согласия оценивают с помощью каппы Коэна для меток классов или пересечения по объединению (IoU) для их рамок и масок.
• Аудит на основе модели: Обученная модель отмечает метки, с которыми она категорически не согласна, а такие инструменты, как cleanlab, ранжируют наиболее вероятные ошибки разметки для проверки человеком.

Разметка данных и смежные понятия#

• Аннотирование данных: Синоним разметки. Команды компьютерного зрения обычно используют термин «аннотирование» для нарисованной геометрии, например рамок и масок.
• Полуконтролируемое обучение: Модель самостоятельно размечает неразмеченные данные и сохраняет собственные уверенные предсказания в качестве псевдометок без проверки человеком.
• Активное обучение: Определяет, какие элементы люди будут размечать дальше; обычно выбирают те, в которых текущая модель уверена меньше всего.
• Очистка данных: Устраняет проблемы набора данных, например дубликаты, повреждённые файлы и несогласованные форматы, в том числе исправляет неверные метки, найденные после разметки.
• Синтетические данные: Отрисованные или сгенерированные изображения, для которых генератор бесплатно предоставляет метки, поскольку расположение объектов в сцене известно точно; недостаток этого подхода — разрыв между синтетическими и реальными изображениями.