Self-Supervised Learning

Обучение с самоконтролем (SSL) — это парадигма машинного обучения, в рамках которой система учится понимать данные, генерируя собственные сигналы обучения на основе самих данных, а не полагаясь на предоставленные людьми внешние метки. В традиционном обучении с учителем моделям требуется огромное количество вручную размеченных данных — например, изображений с метками «кошка» или «собака», подготовка которых может быть дорогостоящей и занимать много времени. SSL обходит это узкое место, создавая «предтекстовые задачи», в которых модель должна предсказывать скрытые или отсутствующие части входных данных, фактически самостоятельно осваивая структуру и признаки, необходимые для сложных задач, таких как обнаружение объектов и классификация.

Основные механизмы обучения с самоконтролем#

Основная идея SSL заключается в том, чтобы замаскировать или скрыть часть данных и заставить нейронную сеть (NN) восстановить её или предсказать взаимосвязь между различными представлениями одних и тех же данных. Этот процесс создаёт информативные универсальные представления, которые впоследствии можно дообучить для конкретных последующих задач.

В рамках SSL существует два основных подхода:

• Генеративные методы: модель учится генерировать пиксели или слова, чтобы заполнить пропуски. Классический пример в обработке естественного языка (NLP) — предсказание следующего слова в предложении. В компьютерном зрении такие методы, как автоэнкодеры с маскированием (MAE), скрывают случайные фрагменты изображения и поручают модели восстановить отсутствующие пиксели, заставляя её «понимать» визуальный контекст.
• Контрастивное обучение: этот метод учит модель различать похожие и непохожие точки данных. Применяя к изображению методы аугментации данных — такие как обрезка, изменение цветов или поворот, — модель учится понимать, что эти изменённые версии представляют один и тот же объект (положительные пары), а другие изображения — другие объекты (отрицательные пары). Популярные фреймворки, такие как SimCLR, активно используют этот принцип.

Практические применения#

Обучение с самоконтролем стало основой для создания мощных базовых моделей в различных областях. Возможность использовать огромные объёмы неразмеченных данных делает этот подход легко масштабируемым.

• Медицинская визуализация: получение медицинских снимков, размеченных экспертами, затруднительно и дорого. SSL позволяет моделям предварительно обучаться на тысячах неразмеченных рентгеновских снимков или MRI-сканов, чтобы изучать общие анатомические признаки. Затем эту предварительно обученную модель можно дообучить на небольшом количестве размеченных примеров для достижения высокой точности при обнаружении опухолей или диагностике заболеваний.
• Автономное вождение: беспилотные автомобили ежедневно создают терабайты видеоданных. SSL позволяет этим системам изучать временную динамику и пространственное представление на основе необработанных видеозаписей без покадровой разметки. Это помогает улучшить обнаружение полос движения и объезд препятствий за счёт предсказания будущих кадров или движения объектов.

Отличия SSL от связанных терминов#

Важно отличать SSL от обучения без учителя. Хотя оба метода используют неразмеченные данные, обучение без учителя обычно сосредоточено на поиске скрытых закономерностей или групп (кластеризации) без конкретной задачи предсказания. В свою очередь, SSL формулирует процесс обучения как задачу с учителем, где метки автоматически генерируются на основе самой структуры данных. Кроме того, полуобучение сочетает небольшое количество размеченных данных с большим объёмом неразмеченных данных, тогда как чистый SSL полностью создаёт собственные метки из неразмеченного набора данных ещё до какого-либо дообучения.

Использование предварительно обученных весов в Ultralytics#

В экосистеме Ultralytics такие модели, как YOLO26, значительно выигрывают от передовых стратегий обучения, которые на этапе предварительного обучения на огромных наборах данных, таких как ImageNet или COCO, часто используют принципы, схожие с SSL. Благодаря этому при развёртывании модели для конкретной задачи пользователями экстракторы признаков уже обладают высокой устойчивостью.

Ты можешь использовать эти мощные предварительно обученные представления для дообучения моделей на собственных наборах данных с помощью Ultralytics Platform.

Ниже приведён краткий пример загрузки предварительно обученной модели Ultralytics YOLO26 и начала её дообучения на новом наборе данных с использованием признаков, полученных во время первоначального обучения на данных большого масштаба:

from ultralytics import YOLO

# Load a pre-trained YOLO26 model (weights learned from large-scale data)
model = YOLO("yolo26n.pt")

# Fine-tune the model on a specific dataset (e.g., COCO8)
# This leverages the robust feature representations learned during pre-training
results = model.train(data="coco8.yaml", epochs=50, imgsz=640)

Будущее SSL#

Пока исследователи из крупных лабораторий, таких как Meta AI и Google DeepMind, продолжают совершенствовать эти методы, SSL расширяет границы возможного в генеративном ИИ и компьютерном зрении. Снижая зависимость от размеченных данных, SSL делает высокопроизводительный ИИ доступнее, позволяя небольшим командам создавать сложные модели для специализированных задач, таких как охрана дикой природы или промышленный контроль.