Self-Supervised Learning

Самообучение (Self-Supervised Learning, SSL) — это парадигма машинного обучения, в которой система учится понимать данные, генерируя собственные контролирующие сигналы из самих данных, а не полагаясь на внешние метки, предоставляемые человеком. В традиционном Supervised Learning моделям требуются огромные объемы размеченных вручную данных — таких как изображения с метками «кот» или «собака», — получение которых может быть дорогим и трудоемким. SSL обходит это узкое место, создавая «предтекстовые задачи», в которых модель должна предсказывать скрытые или пропущенные части входных данных, эффективно обучая себя базовой структуре и признакам, необходимым для таких сложных задач, как object detection и классификация.

Основные механизмы самообучения#

Основная идея SSL заключается в маскировке или сокрытии части данных и принуждении neural network (NN) реконструировать их или предсказывать взаимосвязь между различными представлениями одних и тех же данных. Этот процесс создает богатые представления общего назначения, которые можно дообучить позже для конкретных последующих приложений.

В SSL существуют два основных подхода:

• Генеративные методы: Модель учится генерировать пиксели или слова для заполнения пропусков. Классическим примером в Natural Language Processing (NLP) является предсказание следующего слова в предложении. В компьютерном зрении такие методы, как Masked Autoencoders (MAE), скрывают случайные фрагменты изображения и ставят перед моделью задачу реконструкции пропущенных пикселей, заставляя ее «понимать» визуальный контекст.
• Контрастное обучение: Этот метод учит модель различать похожие и непохожие точки данных. Применяя к изображению методы data augmentation — такие как обрезка, изменение цвета или поворот, — модель понимает, что эти измененные версии представляют один и тот же объект (позитивные пары), в то время как другие изображения рассматриваются как другие объекты (негативные пары). Популярные фреймворки, такие как SimCLR, во многом опираются на этот принцип.

Реальные приложения#

Самообучение стало краеугольным камнем для создания мощных foundation models в различных областях. Его способность использовать массивы неразмеченных данных делает его масштабируемым.

• Медицинская визуализация: Получение размеченных экспертами медицинских сканов является сложной и дорогостоящей задачей. SSL позволяет моделям выполнять предварительное обучение на тысячах неразмеченных рентгеновских снимков или МРТ для изучения общих анатомических особенностей. Затем эту предварительно обученную модель можно дообучить с небольшим количеством размеченных примеров для достижения высокой точности в tumor detection или диагностике заболеваний.
• Автономное вождение: Беспилотные автомобили ежедневно генерируют терабайты видеоданных. SSL позволяет этим системам изучать временную динамику и пространственное понимание на основе сырых видеоматериалов без поанотированной разметки. Это помогает улучшить lane detection и обход препятствий за счет прогнозирования будущих кадров или движения объектов.

Отличие SSL от смежных понятий#

Важно отличать SSL от Unsupervised Learning. Хотя оба метода используют неразмеченные данные, неконтролируемое обучение обычно фокусируется на поиске скрытых закономерностей или группировок (кластеризации) без конкретной задачи прогнозирования. SSL, напротив, оформляет процесс обучения как контролируемую задачу, где метки генерируются автоматически из структуры самих данных. Кроме того, Semi-Supervised Learning сочетает небольшое количество размеченных данных с большим количеством неразмеченных, в то время как чистое SSL полностью создает свои собственные метки из неразмеченного набора данных до того, как произойдет какое-либо дообучение.

Использование предварительно обученных весов в Ultralytics#

В экосистеме Ultralytics такие модели, как YOLO26, значительно выигрывают от продвинутых стратегий обучения, которые часто включают принципы, аналогичные SSL, на этапе предварительного обучения на огромных наборах данных, таких как ImageNet или COCO. Это гарантирует, что когда пользователи развертывают модель для конкретной задачи, средства извлечения признаков уже надежны.

Ты можешь использовать эти мощные предварительно обученные представления для дообучения моделей на собственных пользовательских наборах данных с помощью Ultralytics Platform.

Вот краткий пример того, как загрузить предобученную модель Ultralytics YOLO26 и начать ее дообучение на новом наборе данных, используя возможности, усвоенные во время ее первоначального масштабного обучения:

from ultralytics import YOLO

# Load a pre-trained YOLO26 model (weights learned from large-scale data)
model = YOLO("yolo26n.pt")

# Fine-tune the model on a specific dataset (e.g., COCO8)
# This leverages the robust feature representations learned during pre-training
results = model.train(data="coco8.yaml", epochs=50, imgsz=640)

Будущее SSL#

Поскольку исследователи в ведущих лабораториях, таких как Meta AI и Google DeepMind, продолжают совершенствовать эти методы, SSL раздвигает границы возможного в Generative AI и компьютерном зрении. Снижая зависимость от размеченных данных, SSL демократизирует доступ к высокопроизводительному ИИ, позволяя небольшим командам создавать сложные модели для нишевых приложений, таких как wildlife conservation или industrial inspection.