Self-Supervised Learning (Самообучение без учителя)

Самоконтролируемое обучение (SSL) - это трансформационный подход в области искусственного интеллекта (ИИ) позволяющий системам обучаться на немаркированных данных, не требуя явной аннотации человека. В отличие от традиционного контролируемого обучениякоторое в значительной степени зависит от огромных наборов данных с помеченными вручную примерами, SSL получает собственные сигналы супервизии непосредственно из самих данных. Создавая и решая "предтекстовые задачи", такие как заполнение пропущенных слов в предложении или предсказание поворота изображения, модель учится заполнение пропущенных слов в предложении или предсказание поворота изображения - модель учится понимать базовую структуру, контекст и особенности входных данных. Эта способность крайне важна для разработки надежных базовых моделей которые можно адаптировать к широкому спектру задач, решаемых в дальнейшем, с минимальным дополнительным обучением.

Как работает самообучение (Self-Supervised Learning)

Основной механизм SSL заключается в удалении части доступных данных и задании нейронной сети (НС) на реконструировать ее. Этот процесс заставляет модель обучаться высококачественным представлениям, или вкраплениякоторые передают семантический смысл. Существует две основные категории задач, связанных с претекстом, которые используются в научных исследованиях и промышленности:

• Генеративные методы: Модель восстанавливает испорченные или замаскированные данные. Например, в Обработка естественного языка (NLP)модели, подобные BERT, маскируют определенные слова и пытаются предсказать их на основе окружающего контекста. В зрении, такие методы, как автоэнкодеры с маской (MAE) удаляют удаляют участки изображения и восстанавливают недостающие пиксели.
• Контрастное обучение: Этот подход учит модель различать схожие и несхожие точками данных. Такие алгоритмы, как SimCLR применяют увеличение данных (обрезка, цветовое дрожание) к изображению и обучить сеть распознавать, что эти измененные версии представляют один и тот же объект. объект, отталкивая при этом представления разных изображений.

Применение в реальном мире

Самоконтролируемое обучение произвело революцию в промышленности, раскрыв ценность огромных, не хранящихся в памяти наборов данных. Вот два конкретных примера его влияния:

1. Анализ медицинских изображений: Получение маркированных медицинских данных является дорогостоящим и требует привлечения экспертов-рентгенологов. SSL позволяет моделям предварительно обучаться на тысячи немаркированных рентгеновских снимков или снимков МРТ для изучения общих анатомических особенностей. Такое предварительное обучение значительно повышает производительность, когда модель впоследствии настраивается на небольшом наборе данных с метками для решения конкретных задач, таких как обнаружение опухолейЭто повышает точность диагностики при ограниченном контроле.
2. Автономные транспортные средства: Самоуправляемые автомобили ежедневно генерируют терабайты видеоданных. Маркировка каждого кадра невозможна. SSL позволяет этим системам изучать временную динамику и оценка глубины из необработанного видео прогнозируя будущие кадры или оценивая согласованность объектов во времени. Это помогает улучшить отслеживание объектов и понимание окружающей обстановки без постоянного участия человека.

Отличие SSL от смежных понятий

Чтобы полностью понять SSL, необходимо отличать его от аналогичных парадигм обучения:

• Vs. Неподконтрольное обучение: В обоих случаях используются немаркированные данные, Неподконтрольное обучение обычно направлено на поиск скрытых закономерностей, например, кластеризация клиентов или уменьшение размерности. SSL направлено на изучение представлений, которые можно переносить на другие задачи. контролируемое обучение, но с самостоятельно сгенерированными метками.
• Vs. Полуподконтрольное обучение: Полуконтролируемое обучение объединяет небольшой объем меченых данных с большим объемом немеченых данных на одном этапе обучения. В В отличие от этого, SSL часто используется в качестве этапа "предварительного обучения" исключительно на немеченых данных, за которым следует тонкая настройка на помеченных данных.

Использование предварительно обученных моделей

На практике большинство разработчиков используют SSL, применяя веса моделей которые уже были предварительно обученных на огромных наборах данных. Например. Ultralytics YOLO11 архитектура использует благодаря глубоким возможностям извлечения признаков, отточенным в ходе длительного обучения. Хотя YOLO работает под надзором, концепция обучения с передачей данных - взятие модели, понимающей визуальные особенности, и применение ее к новой задаче - является основной преимуществом исследования SSL.

Следующий пример на Python демонстрирует, как загрузить предварительно обученную модель и произвести ее тонкую настройку на определенном наборе данных. Этот процесс опирается на представления признаков, полученные на этапе начального предварительного обучения.

from ultralytics import YOLO

# Load a pre-trained YOLO11 model (weights act as the learned representation)
model = YOLO("yolo11n.pt")

# Fine-tune the model on a specific task, leveraging its existing visual knowledge
# This transfer learning process is highly efficient due to robust pre-training
results = model.train(data="coco8.yaml", epochs=5, imgsz=640)

# Perform inference to verify the model detects objects correctly
model.predict("https://ultralytics.com/images/bus.jpg", save=True)

Будущее самоконтролируемого обучения

В то время как исследователи стремятся к созданию моделей, которые бы обучались подобно человеку - путем наблюдения, а не заучивания - SL остается в авангарде инноваций. Крупнейшие исследовательские лаборатории, включая Google DeepMind и Meta AIпродолжают публиковать открытия, которые снижают зависимость от меченых данных. В Ultralytics мы интегрируем эти достижения в наши исследования и разработки для YOLO26стремясь создать более быстрые, компактные и точные модели, способные эффективно обобщать различные данные. Компьютерное зрение (КВ) задачи. Такие инструменты, как PyTorch и готовящаяся к выпуску платформа Ultralytics Platform позволяют легче, чем когда-либо, развернуть эти передовые возможности в реальных производственных средах.