Полуавтоматическое обучение

Полунаблюдаемое обучение (SSL) - это мощная парадигма в Машинное обучение (ML), которое преодолевает разрыв между полностью контролируемым обучением и неконтролируемым обучением. В то время как контролируемые методы требуют полностью аннотированных наборов данных, а неконтролируемые методы работают полностью без меток, SSL работает за счет использования небольшого количества помеченных данных наряду с гораздо большим количеством не помеченных данных. Во многих реальных сценариях получение исходных данных является относительно дешевым, но процесс маркировки данных является дорогостоящим, трудоемким и требует человеческого опыта. SSL решает эту проблему, используя ограниченное количество помеченных примеров для управления процессом обучения. позволяя модели извлекать структуру и закономерности из огромного количества немаркированных сегментов, тем самым повышая общую точность и обобщенность модели.

Как работает полу-контролируемое обучение

Фундаментальный механизм SSL заключается в распространении информации от помеченных данных к немеченым. Процесс Процесс обычно начинается с обучения начальной модели на небольшом наборе помеченных данных. Затем эта модель используется для прогнозов на немеченых данных. Наиболее достоверные предсказания, часто называемые псевдопометками, рассматриваются как истина. истина, и модель повторно обучается на расширенном наборе данных. Этот итерационный цикл позволяет нейронным сетям выучить границы принятия решений, которые более надежные, чем те, которые были получены только на основе помеченных данных.

Общие методы, используемые в SSL, включают:

• Псевдомаркировка: Модель генерирует метки для немеченых данных, а прогнозы с высокой степенью достоверности добавляются к обучающим данным. Это часто используется в в сочетании с порогами доверия.
• Регуляризация последовательности: Этот метод побуждает модель делать одинаковые предсказания для исходного изображения и его возмущенной версии (например, после применения дополнения данных). Если модель понимает объект, переворачивание или небольшой поворот изображения не должны изменить классификацию. Вы можете прочитать больше о концепции регуляризации согласованности в научной литературе.
• Методы на основе графов: Точки данных представляются как узлы в графе, где ребра отражают сходство. Метки распространяются от помеченных узлов к их немеченым соседям - этот метод часто обсуждается в графовых нейронных сетей (ГНС).

Применение в реальном мире

Полунаблюдаемое обучение особенно эффективно в тех отраслях, где данных много, а экспертной аннотации мало. не хватает экспертной оценки.

1. Анализ медицинских изображений: В здравоохранении создание наборов данных с метками для таких задач, как обнаружение опухолей требует от высокооплачиваемых радиологов ручного аннотирования снимков МРТ или КТ. С помощью SSL исследователи могут обучить модель на на небольшом наборе проверенных врачом снимков, а затем использовать тысячи неаннотированных больничных архивов для повышения производительности. производительность. Это значительно снижает затраты при сохранении высоких стандартов диагностики. ИИ в здравоохранении.
2. Распознавание речи: специализированные голосовые помощники требуют огромных объемов аудиоданных. Хотя расшифровка тысяч часов аудиозаписей нецелесообразна, технологические компании могут использовать небольшой набор расшифрованной речи для обучения базовой модели. Затем эта модель учится на нюансах миллионов часов непереписанной речи, найденных в веб-данных, совершенствуя свою способность понимать различные акценты и диалекты. благодаря автоматическому распознаванию речи.

Дифференциация смежных понятий

Чтобы полностью понять SSL, необходимо отличать его от аналогичных парадигм обучения:

• SSL против самоконтроля. Самоконтролируемое обучение: Несмотря на общую аббревиатуру, они отличаются друг от друга. Самоконтролируемое обучение создает собственные метки на основе структуры данных (например, предсказывает следующее слово в предложении или недостающий участок изображения) без каких-либо человеческих меток. (например, предсказывая следующее слово в предложении или недостающий участок на изображении) без каких-либо человеческих меток. Полусамостоятельное обучение по-прежнему опирается на исходный набор меток, предоставленных человеком, чтобы направлять процесс.
• SSL против активного обучения: В активном обучении модель определяет, какие точки данных являются наиболее запутанными, и явно просит человека обозначить их. их. SSL, напротив, пытается решить проблему немаркированных данных автоматически, не прерывая рабочий процесс для человеческого участия.
• SSL против трансферного обучения: Трансферное обучение предполагает взятие веса модели из исходной задачи (например, ImageNet) и настраивает их на целевой задаче. SSL фокусируется на использовании немеченых данных из того же целевого распределения, чтобы улучшить обучение с самого начала.

Практическая реализация

Реализация полуконтролируемого рабочего процесса часто включает в себя цикл "учитель-ученик" или итеративное обучение. Ниже приведен концептуальный пример с использованием ultralytics Пакет Python для демонстрации того, как можно делать выводы на немаркированных данных для создания прогнозов, которые могут служить псевдомаркировкой для дальнейшего обучения.

from ultralytics import YOLO

# Initialize the YOLO11 model (Teacher)
model = YOLO("yolo11n.pt")

# Train initially on a small, available labeled dataset
model.train(data="coco8.yaml", epochs=10)

# Run inference on a directory of unlabeled images to generate predictions
# These results can be filtered by confidence to create 'pseudo-labels'
results = model.predict(source="./unlabeled_data", save_txt=True, conf=0.8)

# The saved text files from prediction can now be combined with the original
# dataset to retrain a robust 'Student' model.

Инструменты и перспективы на будущее

Фреймворки для глубокого обучения, такие как PyTorch и TensorFlow предоставляют строительные блоки, необходимые для реализации пользовательских SSL циклов и функций потерь. Поскольку модели становятся все более крупными и требовательными к объему данных, такие методы, как SSL, становятся стандартной практикой для достижения максимальной эффективности использования данных.

Создаваемая платформа Ultralytics Platform призвана оптимизировать подобные рабочие процессы, помогая командам управлять переходом от исходных данных к развертыванию модели, облегчая курирование данных и процессов автоаннотирования. Благодаря Эффективное использование немаркированных данных позволяет организациям внедрять высокопроизводительные решения ИИ, такие как YOLO11 быстрее и доступнее, чем на основе чисто чем при использовании исключительно контролируемых методов.