Self-Supervised Learning

Самообучение (Self-Supervised Learning, SSL) — это парадигма машинного обучения, при которой система учится понимать данные, генерируя собственные сигналы контроля из самих данных, а не полагаясь на внешние метки, предоставленные человеком. В традиционном обучении с учителем моделям требуется огромное количество вручную аннотированных данных, например, изображений с пометками "кошка" или "собака", создание которых может быть дорогостоящим и трудоемким. SSL обходит это ограничение, создавая «претекстовые задачи», в которых модель должна предсказать скрытые или отсутствующие части входных данных, эффективно обучая себя базовой структуре и признакам, необходимым для сложных задач, таких как обнаружение объектов и классификация.

Link to this sectionОсновные механизмы самообучения#

Фундаментальная идея SSL заключается в том, чтобы замаскировать или скрыть часть данных и заставить нейронную сеть (NN) восстановить их или предсказать взаимосвязь между различными представлениями одних и тех же данных. Этот процесс создает богатые представления общего назначения, которые впоследствии можно дообучить (fine-tune) для конкретных прикладных задач.

В SSL существуют два основных подхода:

• Генеративные методы: Модель учится генерировать пиксели или слова, чтобы заполнить пропуски. Классический пример в обработке естественного языка (NLP) — предсказание следующего слова в предложении. В компьютерном зрении такие методы, как Masked Autoencoders (MAE), скрывают случайные фрагменты изображения и ставят перед моделью задачу восстановить отсутствующие пиксели, заставляя ее «понимать» визуальный контекст.
• Контрастивное обучение: Этот метод учит модель различать похожие и непохожие точки данных. Применяя методы аугментации данных — такие как кадрирование, изменение цвета или поворот — к изображению, модель узнает, что эти модифицированные версии представляют один и тот же объект (положительные пары), в то время как другие изображения рассматриваются как разные объекты (отрицательные пары). Популярные фреймворки, такие как SimCLR, во многом опираются на этот принцип.

Link to this sectionРеальные приложения#

Самообучение стало краеугольным камнем для создания мощных фундаментальных моделей в различных областях. Его способность эффективно использовать огромные объемы неразмеченных данных делает его легко масштабируемым.

• Медицинская визуализация: Получение экспертных размеченных медицинских сканов — задача сложная и дорогостоящая. SSL позволяет моделям предварительно обучаться на тысячах неразмеченных рентгеновских снимков или МРТ, чтобы изучить общие анатомические признаки. Затем такую предварительно обученную модель можно дообучить на небольшом количестве размеченных примеров, чтобы достичь высокой точности в обнаружении опухолей или диагностике заболеваний.
• Автономное вождение: Беспилотные автомобили ежедневно генерируют терабайты видеоданных. SSL позволяет этим системам изучать временную динамику и пространственное восприятие из необработанных видеоматериалов без покадровой аннотации. Это помогает улучшить обнаружение полос движения и предотвращение столкновений за счет прогнозирования будущих кадров или движения объектов.

Link to this sectionОтличие SSL от смежных понятий#

Важно отличать SSL от обучения без учителя (Unsupervised Learning). Хотя оба метода используют неразмеченные данные, обучение без учителя обычно фокусируется на поиске скрытых закономерностей или группировок (кластеризации) без конкретной задачи прогнозирования. SSL, напротив, оформляет процесс обучения как задачу с учителем, где метки генерируются автоматически из самой структуры данных. Кроме того, полуавтоматическое обучение (Semi-Supervised Learning) объединяет небольшое количество размеченных данных с большим количеством неразмеченных, тогда как чистое SSL создает собственные метки полностью из неразмеченного набора данных перед началом любого дообучения.

Link to this sectionИспользование предварительно обученных весов в Ultralytics#

В экосистеме Ultralytics такие модели, как YOLO26, получают значительные преимущества благодаря продвинутым стратегиям обучения, которые часто включают принципы, схожие с SSL, на этапе предварительного обучения на массивных наборах данных, таких как ImageNet или COCO. Это гарантирует, что когда ты развертываешь модель для конкретной задачи, экстракторы признаков уже обладают высокой надежностью.

Ты можешь использовать эти мощные предварительно обученные представления для дообучения моделей на своих собственных наборах данных с помощью платформы Ultralytics (Ultralytics Platform).

Вот краткий пример того, как загрузить предварительно обученную модель YOLO26 и начать ее дообучение на новом наборе данных, используя преимущества признаков, изученных во время начального обучения на больших данных:

from ultralytics import YOLO

# Load a pre-trained YOLO26 model (weights learned from large-scale data)
model = YOLO("yolo26n.pt")

# Fine-tune the model on a specific dataset (e.g., COCO8)
# This leverages the robust feature representations learned during pre-training
results = model.train(data="coco8.yaml", epochs=50, imgsz=640)

Link to this sectionБудущее SSL#

Поскольку исследователи в ведущих лабораториях, таких как Meta AI и Google DeepMind, продолжают совершенствовать эти методы, SSL расширяет границы возможного в генеративном ИИ (Generative AI) и компьютерном зрении. Снижая зависимость от размеченных данных, SSL демократизирует доступ к высокопроизводительному ИИ, позволяя небольшим командам создавать сложные модели для нишевых приложений, таких как охрана дикой природы или промышленная инспекция.