Self-Supervised Learning (Самообучение без учителя)

Self-Supervised Learning (SSL) (самообучение) — это метод машинного обучения, который позволяет моделям обучаться на огромных объемах неразмеченных данных. Вместо того чтобы полагаться на предоставленные человеком метки, SSL автоматически генерирует метки из самих данных, создавая и решая «предтекстовую задачу». Этот процесс заставляет модель изучать значимые основные закономерности и характеристики данных, такие как текстуры и формы на изображениях или грамматические структуры в тексте. Эти изученные функции создают мощную основу, позволяя модели исключительно хорошо работать в последующих задачах с гораздо меньшим количеством размеченных данных на этапе тонкой настройки. SSL устраняет разрыв между полностью обучением с учителем, которое требует большого количества данных, и чисто обучением без учителя, которое может быть менее направленным.

Как работает самообучение (Self-Supervised Learning)

Основная идея SSL (самообучения) — это предварительная задача (pretext task) — самостоятельно созданная проблема, которую должна решить модель. Метки для этой задачи берутся непосредственно из входных данных. Решая предварительную задачу, нейронная сеть изучает ценные представления или встраивания, которые отражают основные характеристики данных.

Общие предварительные задачи в компьютерном зрении включают:

• Прогнозирование поворота изображения: Модели показывают изображение, которое было случайным образом повернуто (например, на 0, 90, 180 или 270 градусов), и она должна предсказать угол поворота. Чтобы сделать это правильно, она должна распознать исходную ориентацию объекта.
• Восстановление изображений: Часть изображения маскируется или удаляется, и модель должна предсказать недостающий фрагмент. Это побуждает модель узнавать о контексте и текстуре изображений.
• Контрастное обучение: Модель обучается сближать представления похожих (дополненных) изображений и раздвигать представления разных изображений. Фреймворки, такие как SimCLR, являются популярными примерами этого подхода.

Такое предварительное обучение на неразмеченных данных приводит к созданию надежных весов модели, которые можно использовать в качестве отправной точки для более конкретных задач.

SSL и другие парадигмы обучения

Крайне важно отличать SSL от связанных парадигм машинного обучения:

• Обучение с учителем: Полностью зависит от размеченных данных, где каждый вход сопоставляется с правильным выходом. SSL, наоборот, генерирует свои собственные метки из самих данных, что значительно снижает потребность в ручной разметке данных.
• Обучение без учителя: Направлено на поиск закономерностей (например, кластеризация) или уменьшение размерности в немаркированных данных без предопределенных предварительных задач. Хотя SSL использует немаркированные данные, как и обучение без учителя, он отличается тем, что создает явные контролирующие сигналы посредством предварительных задач для управления обучением представлений.
• Полуавтоматическое обучение: Использует комбинацию небольшого количества размеченных данных и большого количества неразмеченных данных. Предварительное обучение с использованием SSL часто может быть предварительным этапом перед тонкой настройкой с полуавтоматическим обучением.
• Активное обучение: Сосредоточено на интеллектуальном выборе наиболее информативных точек данных из неразмеченного пула для разметки человеком. SSL обучается на всех неразмеченных данных без вмешательства человека в цикл. Эти два метода могут быть взаимодополняющими в ориентированном на данные рабочем процессе ИИ.

Применение в реальном мире

SSL значительно расширил возможности искусственного интеллекта (AI) в различных областях:

1. Развитие моделей компьютерного зрения: Предварительное обучение SSL позволяет таким моделям, как Ultralytics YOLO, изучать надежные визуальные признаки из огромных немаркированных наборов данных изображений, прежде чем они будут точно настроены для таких задач, как обнаружение объектов в автономных транспортных средствах или анализ медицинских изображений. Использование предварительно обученных весов, полученных из SSL, часто приводит к лучшей производительности и более быстрой сходимости во время обучения модели.
2. Обеспечение работы больших языковых моделей (LLM) (Powering Large Language Models (LLMs)): Базовые модели, такие как GPT-4 и BERT, в значительной степени полагаются на SSL pretext tasks (например, masked language modeling) во время предварительного обучения на огромных текстовых корпусах. Это позволяет им понимать структуру языка, грамматику и контекст, обеспечивая работу приложений, начиная от сложных чат-ботов и машинного перевода до обобщения текста.

SSL значительно снижает зависимость от дорогостоящих размеченных наборов данных, демократизируя разработку мощных моделей ИИ. Такие инструменты, как PyTorch и TensorFlow, а также платформы, такие как Ultralytics HUB, предоставляют среды для использования методов SSL для создания и развертывания передовых решений ИИ. Вы можете найти последние исследования по SSL на ведущих конференциях по ИИ, таких как NeurIPS и ICML.