Semi-Supervised Learning

Обучение с частичной разметкой (SSL) — это стратегическая парадигма в области машинного обучения (ML), выступающая связующим звеном между двумя традиционными методами обучения. В то время как обучение с учителем полностью relies на датасетах с разметкой, а обучение без учителя пытается находить закономерности в данных без каких-либо меток, SSL объединяет небольшой объем размеченных данных со значительно большим набором неразмеченных данных. Такой подход особенно ценен в реальных сценариях компьютерного зрения (CV), где сбор исходных изображений — например, видеозаписей с камер наблюдения или спутниковых снимков — относительно недорог, но разметка данных экспертами обходится дорого, занимает много времени и требует значительных трудозатрат. Эффективно используя структуру, скрытую в неразмеченных примерах, SSL может значительно повысить точность модели и ее способность к обобщению без необходимости в исчерпывающем бюджете на разметку.

Основные механизмы обучения с частичной разметкой#

Основная цель SSL — перенести информацию из небольшого набора размеченных примеров на более крупный неразмеченный набор. Это позволяет нейронной сети обучаться проводить границы решений через области низкой плотности данных, что приводит к более надежной классификации или детектированию.

В основе большинства рабочих процессов обучения с частичной разметкой лежат два популярных метода:

• Псевдоразметка: В этом методе модель сначала обучается на ограниченном наборе размеченных данных. Затем она используется для выполнения инференса на неразмеченных данных. Предсказания, превышающие определенный порог уверенности, рассматриваются как «псевдометки» или эталонная разметка. Эти уверенные предсказания добавляются в обучающие данные, после чего модель переобучается, итеративно повышая свою производительность.
• Регуляризация согласованности: Этот метод relies на аугментации данных. Идея заключается в том, что модель должна выдавать похожие предсказания для изображения и его слегка измененной (аугментированной) версии. Минимизируя различия между предсказаниями для исходной и аугментированной версий, модель учится сосредотачиваться на ключевых признаках объекта, а не на шуме, повышая свою способность справляться с переобучением.

Практическая реализация с YOLO#

Следующий пример на Python демонстрирует простой рабочий процесс псевдоразметки с использованием пакета ultralytics. В нем модель YOLO26 обучается на небольшом датасете, а затем используется для создания меток для каталога неразмеченных изображений.

from ultralytics import YOLO

# Load the latest YOLO26 model
model = YOLO("yolo26n.pt")

# Train initially on a small available labeled dataset
model.train(data="coco8.yaml", epochs=10)

# Run inference on unlabeled data to generate pseudo-labels
# Setting save_txt=True saves the detections as text files for future training
results = model.predict(source="./unlabeled_images", save_txt=True, conf=0.85)

Практические применения#

Обучение с частичной разметкой преобразует отрасли, в которых данных много, а экспертов мало.

• Медицинская визуализация: В сфере ИИ для здравоохранения получение снимков (рентгеновских снимков, МРТ) является стандартной процедурой, но разметка каждого пикселя сертифицированным радиологом для детектирования опухолей обходится непомерно дорого. SSL позволяет исследователям обучать высокопроизводительные модели, используя лишь часть случаев, размеченных экспертами, и задействовать тысячи архивных снимков для улучшения понимания моделью биологических структур.
• Автономное вождение: Компании, разрабатывающие беспилотные автомобили, ежедневно собирают петабайты видеоданных с автомобилей своего парка. Разметить каждый кадр для детектирования объектов и семантической сегментации невозможно. Благодаря SSL система может обучаться на подавляющем большинстве неразмеченных часов вождения, чтобы лучше понимать сложные дорожные условия, погодные явления и редкие нештатные ситуации.

Различие между связанными понятиями#

Для эффективного внедрения решений на основе ИИ крайне важно понимать, чем SSL отличается от схожих стратегий:

• В сравнении с активным обучением: Оба метода работают с неразмеченными данными, но подходят к разметке по-разному. SSL автоматически назначает метки на основе предсказаний модели. Активное обучение, напротив, выявляет наиболее «неоднозначные» или неуверенные точки данных и напрямую обращается к человеку в контуре с просьбой разметить их, оптимизируя время человека, а не устраняя его участие полностью.
• В сравнении с переносом обучения: Перенос обучения предполагает использование модели, предварительно обученной на огромном внешнем датасете, например ImageNet, и ее дообучение под конкретную задачу. SSL, однако, сосредоточено на использовании неразмеченной части распределения данных твоего конкретного датасета непосредственно в процессе обучения.
• В сравнении с самостоятельным обучением: Несмотря на схожесть названий, самостоятельное обучение часто подразумевает «предтекстовые задачи» — например, сборку пазла из фрагментов изображения, — в которых данные сами создают сигналы для обучения без внешних меток. SSL подразумевает использование небольшого набора проверенных меток для управления процессом.

Инструменты и перспективы развития#

По мере увеличения размера моделей глубокого обучения (DL) эффективность использования данных становится критически важной. Современные фреймворки, такие как PyTorch и TensorFlow, обеспечивают вычислительную основу для этих продвинутых циклов обучения. Кроме того, такие инструменты, как Ultralytics Platform, упрощают управление жизненным циклом датасетов. Используя такие функции, как автоматическая разметка, команды могут проще внедрять рабочие процессы обучения с частичной разметкой и быстро превращать исходные данные в готовые к использованию в продакшене веса модели. Это развитие MLOps гарантирует, что порог входа для создания высокоточных систем компьютерного зрения продолжит снижаться.