Self-Supervised Learning

Обучение с самоконтролем (SSL) обучает модель решать задачу, метки для которой извлекаются из самих данных: например, предсказывать следующее слово в предложении, восстанавливать скрытые фрагменты изображения или распознавать соответствие двух фрагментов одной фотографии. Так модель может учиться на больших объёмах неразмеченных данных. Обучение с учителем ограничено возможностями разметки данных, которая медленная и дорогая, тогда как необработанных изображений, видео, аудио и текстов много. SSL использует их для предварительного обучения универсального энкодера, а затем дообучение или небольшая обученная выходная голова адаптирует его к последующей задаче, например классификации изображений или обнаружению объектов, используя гораздо меньше меток. Каждая современная большая языковая модель (LLM) проходит предварительное обучение таким способом — на предсказании следующего токена в тексте, как в моделях GPT. Meta масштабировала предварительное обучение изображений с самоконтролем до модели с 7 миллиардами параметров, обученной на 1,7 миллиарда изображений, — DINOv3.

Как работает обучение с самоконтролем#

Метод SSL задаёт предтекстовую задачу: скрывает или преобразует часть каждого входного примера и обучает сеть восстановить удалённое или распознать то, что осталось неизменным. Сама предтекстовая задача редко бывает полезной. Важно, что для её решения сети приходится изучать структуру данных — например, формы объектов, текстуры и взаимосвязи между частями, — а эти признаки переносятся на задачи с метками. После предварительного обучения энкодер оценивают или используют с помощью линейного пробирования на замороженных признаках либо дообучают все его веса:

Основные семейства методов#

• Предсказание скрытых элементов: Часть входных данных скрывается, а модель обучается её восстановить. BERT предсказывает случайно замаскированные слова, а маскированные автоэнкодеры скрывают 75% фрагментов изображения и восстанавливают их пиксели. Предсказание следующего токена в последовательности применяет ту же идею к тексту.
• Контрастивное обучение: Для каждого изображения создаются два аугментированных представления, а эмбеддинги обучаются так, чтобы представления одного изображения совпадали, а разных — нет. Самые известные примеры — SimCLR и MoCo.
• Самодистилляция: Сеть-ученик учится совпадать с выходом сети-учителя — медленно обновляемого среднего сети-ученика — на разных фрагментах одного изображения, без отрицательных пар. Этот подход используют BYOL и DINO, а DINOv2 и DINOv3 масштабируют его на тщательно отобранные наборы данных, содержащие более 100 миллионов изображений.
• Предсказание совместных эмбеддингов: По видимым областям предсказываются эмбеддинги скрытых областей, благодаря чему модель учится абстрактному содержанию, не расходуя вычислительные ресурсы на детали пикселей. Meta применяет этот подход к изображениям и видео в I-JEPA и V-JEPA.

Выбор метода определяет, какие признаки получится получить. Маскированная реконструкция сохраняет мелкие пространственные детали и хорошо сочетается с дообучением, тогда как контрастивные методы и самодистилляция дают признаки, которые хорошо работают без изменения весов. Поэтому энкодеры семейства DINO популярны в качестве базовых моделей для оценки глубины и семантической сегментации.

Обучение с самоконтролем в компьютерном зрении#

Визуальные трансформеры и SSL хорошо подходят друг другу: маскирование целых фрагментов напрямую соответствует входным токенам ViT, а визуальным трансформерам полезно иметь больше обучающих данных, чем могут предоставить размеченные наборы. Многие фундаментальные модели начинаются с энкодеров, обученных с самоконтролем. SAM 2 от Meta, доступная в пакете Ultralytics для сегментации изображений и видео по запросу, использует визуальный энкодер Hiera, предварительно обученный как маскированный автоэнкодер до начала обучения сегментации.

Применение#

• Медицинская визуализация: В больницах хранится гораздо больше снимков, чем рентгенологи успевают разметить. Предварительное обучение на неразмеченных рентгеновских снимках, КТ или МРТ даёт энкодер, который затем можно научить таким задачам, как обнаружение опухолей, на небольшом наборе экспертных меток.
• Спутниковые снимки: Meta обучила вариант DINOv3 на 493 миллионах спутниковых снимков, а World Resources Institute использует его для картирования высоты древесного полога. В одном из регионов Кении средняя погрешность высоты относительно прежних карт на базе DINOv2 снизилась с 4,1 до 1,2 метра.
• Распознавание речи: wav2vec 2.0 прошла предварительное обучение на 53 000 часах неразмеченного аудио и после дообучения всего на 10 минутах расшифрованной речи достигла показателей частоты ошибок слов 4,8% и 8,2% на чистом и прочем тестовых наборах LibriSpeech.

Обучение с самоконтролем и смежные понятия#

• Обучение без учителя: Общее понятие обучения без человеческих меток, включающее кластеризацию и оценку плотности. SSL обычно считают разновидностью обучения без учителя, которая по форме похожа на обучение с учителем: целевые значения генерируются из данных.
• Полуобучение: Одновременно обучается на небольшом размеченном и большом неразмеченном наборах данных. SSL предварительно обучается только на неразмеченных данных, и эти подходы хорошо сочетаются: SimCLRv2 дообучила большую модель, обученную с самоконтролем, на 1% меток ImageNet, а затем дистиллировала её с помощью неразмеченных изображений.
• Трансферное обучение: Предварительно обученная модель повторно используется для новой задачи. SSL — один из способов получить такую модель без меток.
• Аугментация данных: Случайное кадрирование, изменение цветов и отражение увеличивают размеченный набор данных. В контрастивном SSL те же преобразования определяют, какие представления считать одним изображением, а значит, и чему энкодер научится не придавать значения.