Transfer Learning

Перенос обучения — это мощный метод в машинном обучении (ML), при котором модель, разработанная для определенной задачи, используется повторно в качестве отправной точки для модели на второй, связанной задаче. Вместо обучения нейронной сети с нуля, что требует огромных наборов данных и значительной вычислительной мощности, разработчики задействуют знания, которые ИИ уже приобрел. Этот подход имитирует то, как учатся люди; например, умение играть на пианино значительно облегчает обучение игре на органе, поскольку базовое понимание теории музыки и ловкость пальцев переносятся. В контексте глубокого обучения это означает, что модель может достичь высокой точности при решении новой проблемы с существенно меньшими затратами данных и времени.

Как работает обучение с переносом знаний#

Эффективность переноса обучения заключается в иерархической природе извлечения признаков. Модели глубокого обучения, особенно те, что используются в компьютерном зрении, учатся распознавать паттерны по слоям. Начальные слои бэкбона обнаруживают простые универсальные признаки, такие как края, кривые и текстуры. Эти низкоуровневые признаки применимы практически к любой визуальной задаче.

Процесс обычно включает две основные фазы:

1. Предварительное обучение: Модель обучается на крупномасштабном эталонном наборе данных, таком как ImageNet, для изучения общих визуальных представлений. В результате получается набор весов модели, которые уже понимают визуальную структуру.

2. Адаптация: Предварительно обученная модель затем адаптируется к конкретной узкой задаче. Это часто делается путем «заморозки» ранних слоев (фиксации их весов) и дообучения только финальных слоев или детекционной головки на меньшем пользовательском наборе данных.

Реальные приложения#

Обучение с переносом знаний демократизировало ИИ, позволив создавать специализированные решения без ресурсов Big Tech.

• ИИ в здравоохранении: Собрать миллионы аннотированных медицинских изображений для каждого конкретного заболевания сложно. Однако исследователи могут взять модель, предварительно обученную на повседневных объектах, и применить ее к анализу медицинских изображений. Модель переносит свою способность обнаруживать формы и аномалии для выявления опухолей на рентгенограммах или МРТ-сканах с высокой точностью.
• ИИ в производстве: В промышленных условиях системы визуального осмотра должны быстро адаптироваться к новым линейкам продукции. Обобщенная модель обнаружения дефектов может быть быстро обновлена для выявления брака в конкретном новом компоненте, таком как микрочип, с использованием рабочих процессов умного производства для минимизации простоев.

Связь с другими концепциями#

Полезно отличать обучение с переносом знаний от близких понятий:

• По сравнению с тонкой настройкой: Тонкая настройка — это конкретный метод реализации переноса обучения. В то время как перенос обучения представляет собой общую концепцию повторного использования знаний, тонкая настройка относится к механическому процессу разморозки частей модели и их обучения на новых данных с более низким скоростью обучения.
• По сравнению с обучением в условиях нулевой видимости (Zero-Shot Learning): Перенос обучения требует фазы обучения с некоторыми размеченными данными для новой задачи. Напротив, обучение в условиях нулевой видимости пытается классифицировать объекты, которые модель никогда раньше не видела, часто полагаясь на семантические описания, а не на визуальные примеры.

Практический пример#

Следующий фрагмент Python демонстрирует перенос обучения с использованием библиотеки ultralytics. Мы загружаем модель YOLO26, которая поставляется с предварительно обученными весами, полученными из датасета COCO. Когда мы запускаем обучение на новом наборе данных, модель автоматически переносит свои предварительно изученные признаки на новую задачу.

from ultralytics import YOLO

# Load a pre-trained YOLO26 model (transferring weights from COCO)
model = YOLO("yolo26n.pt")

# Train the model on a new, smaller dataset to adapt its knowledge
# This leverages the pre-learned backbone for faster convergence
results = model.train(data="coco8.yaml", epochs=5)

Для управления наборами данных и выполнения этих обучающих прогонов в облаке такие инструменты, как Ultralytics Platform, оптимизируют процесс, позволяя командам совместно работать над разметкой данных и эффективным развертыванием моделей с перенесенным обучением.

Для более глубокого погружения в академическую теорию заметки Stanford CS231n предлагают отличный обзор, в то время как учебник PyTorch по переносу обучения предоставляет обширные технические детали для реализации.