Полуавтоматическое обучение

Полуавтоматическое обучение (SSL) — это метод машинного обучения (ML), который устраняет разрыв между обучением с учителем и обучением без учителя. Он использует небольшое количество размеченных данных вместе с большим количеством неразмеченных данных для повышения точности обучения. Во многих реальных сценариях получение неразмеченных данных обходится недорого, но процесс разметки данных является дорогостоящим и трудоемким. SSL решает эту проблему, позволяя моделям учиться на огромном пуле неразмеченных примеров, руководствуясь структурой и информацией, предоставляемой меньшим размеченным набором. Этот подход особенно эффективен в глубоком обучении (DL), где моделям требуются огромные наборы данных для достижения высокой производительности.

Как работает полу-контролируемое обучение

Основная идея SSL (самообучения) заключается в использовании размеченных данных для построения начальной модели, а затем в использовании этой модели для прогнозирования неразмеченных данных. Наиболее уверенные прогнозы модели затем рассматриваются как «псевдо-метки» и добавляются в набор обучающих данных. Затем модель переобучается на этой комбинации исходных меток и псевдо-меток с высокой степенью достоверности. Этот итеративный процесс позволяет модели изучить структуру всего набора данных, а не только небольшой размеченной части.

Общие методы SSL включают:

• Согласованная регуляризация: Этот метод обеспечивает идею, что прогнозы модели должны оставаться согласованными, даже если входные данные немного изменены. Например, изображение с незначительной аугментацией данных должно давать ту же классификацию.
• Генеративные модели: Такие методы, как генеративно-состязательные сети (GANs), могут научиться генерировать данные, которые напоминают истинное распределение данных, помогая лучше определить границы принятия решений между классами.
• Graph-Based Methods (методы на основе графов): Эти методы представляют точки данных в виде узлов в графе и распространяют метки от помеченных узлов к непомеченным на основе их близости или сходства. Технический обзор можно найти в научных обзорах.

Применение в реальном мире

SSL особенно эффективен в тех областях, где маркировка данных является узким местом. Два ярких примера включают:

1. Анализ медицинских изображений: Маркировка медицинских снимков, таких как МРТ или КТ, для обнаружения опухолей требует привлечения экспертов-радиологов и стоит очень дорого. С помощью SSL модель можно обучить на нескольких сотнях меченых сканов, а затем уточнить ее на тысячах немеченых сканов из больничных архивов. Это позволяет разрабатывать надежные модели классификации и сегментации изображений с гораздо меньшими затратами ручного труда.
2. Классификация веб-контента и документов: Классифицировать миллиарды веб-страниц, новостных статей или отзывов клиентов вручную нецелесообразно. SSL может использовать небольшой, вручную классифицированный набор документов для обучения начального текстового классификатора. Затем модель классифицирует огромный корпус неразмеченных документов, используя свои собственные прогнозы для улучшения с течением времени для таких задач, как анализ тональности или категоризация по темам.

Сравнение с другими парадигмами обучения

Важно отличать SSL от связанных концепций искусственного интеллекта (AI):

• Самоконтролируемое обучение (SSL): Несмотря на общую аббревиатуру, самоконтролируемое обучение отличается от других. Это тип несамостоятельного обучения, в котором метки генерируются из самих данных с помощью предтекстовых задач (например, предсказание замаскированного слова в предложении). При этом не используются данные, помеченные вручную, в то время как для полуподконтрольного обучения требуется небольшой набор данных с явными метками, чтобы направлять процесс обучения модели.
• Активное обучение: Эта техника также направлена на снижение затрат на маркировку. Однако вместо того, чтобы использовать все неразмеченные данные, модель активного обучения интеллектуально запрашивает человека-аннотатора для маркировки наиболее информативных точек данных. SSL, напротив, обычно использует неразмеченные данные без прямого взаимодействия с человеком во время обучения.
• Трансферное обучение: Это предполагает использование модели, предварительно обученной на большом наборе данных (например, ImageNet), а затем ее тонкую настройку на меньшем наборе данных, специфичном для конкретной задачи. Хотя оба метода используют существующие знания, SSL учится на немаркированных данных самой целевой задачи, в то время как трансферное обучение использует знания из другой (хотя часто смежной) задачи.

Инструменты и обучение

Многие современные фреймворки глубокого обучения (DL), включая PyTorch (официальный сайт PyTorch) и TensorFlow (официальный сайт TensorFlow), предлагают функциональные возможности или могут быть адаптированы для реализации алгоритмов SSL. Библиотеки, такие как Scikit-learn, предоставляют некоторые методы SSL. Платформы, такие как Ultralytics HUB, упрощают этот процесс, облегчая управление наборами данных, которые могут содержать смеси размеченных и неразмеченных данных, упрощая обучение и развертывание моделей, предназначенных для использования таких структур данных. Исследования в области SSL продолжают развиваться, и результаты часто представляются на крупных конференциях по ИИ, таких как NeurIPS и ICML.