Обучение с небольшим количеством примеров

Few-Shot Learning (FSL) — это подраздел машинного обучения, который фокусируется на создании моделей, способных к обобщению новых концепций всего лишь на нескольких примерах. Традиционные модели глубокого обучения, особенно в области компьютерного зрения, часто требуют огромных объемов размеченных данных для обучения для достижения высокой производительности. FSL решает проблему нехватки данных, создавая модели, которые могут эффективно обучаться в ситуациях с малым объемом данных, имитируя способность человека изучать новые объекты или категории на основе очень небольшого количества экземпляров. Это делает его бесценным для приложений, где сбор и разметка данных являются дорогостоящими, трудоемкими или просто невозможными.

Как работает обучение с малым количеством примеров

Основная идея FSL (Few-Shot Learning) заключается в использовании предварительных знаний, полученных из большого и разнообразного набора данных, для быстрого обучения новым, связанным задачам. Вместо того чтобы учиться классифицировать конкретные категории напрямую, модель изучает более общее представление данных или учится сравнивать точки данных. Распространенные подходы включают в себя:

• Обучение на основе метрик: Эти методы изучают функцию расстояния или метрику сходства для сравнения нескольких помеченных "опорных" изображений с непомеченными "запросными" изображениями. Затем запросное изображение назначается классу наиболее похожего опорного изображения. Популярные примеры этого подхода включают Сиамские сети, которые учатся определять, принадлежат ли два изображения к одному классу, и Прототипические сети, которые изучают прототипическое представление для каждого класса в метрическом пространстве.
• Обучение на основе оптимизации: Часто ассоциируется с мета-обучением (или «обучением обучению»), этот подход обучает сам процесс оптимизации модели. Цель состоит в том, чтобы разработать модель, которая может быстро адаптировать свои параметры к новой задаче всего за несколько шагов градиентного спуска. Влиятельным алгоритмом в этой области является Model-Agnostic Meta-Learning (MAML).
• Обучение на основе памяти: Эти модели используют внешний компонент памяти для хранения информации из нескольких доступных примеров. Когда представлен новый пример, модель извлекает соответствующую информацию из своей памяти, чтобы сделать прогноз. Это концептуально похоже на то, как работают алгоритмы k-ближайших соседей (k-NN).

Обучение с небольшим количеством примеров и смежные концепции: сравнение

Важно отличать FSL от других парадигм обучения, которые работают с ограниченными данными:

• Обучение с нуля (Zero-Shot Learning, ZSL): ZSL является более экстремальным, чем FSL, поскольку требует, чтобы модель распознавала классы, которые она никогда не видела во время обучения, используя только высокоуровневые семантические описания или атрибуты. FSL требует хотя бы один пример, а ZSL не требует ни одного.
• Обучение с одного примера (OSL): OSL — это особый вариант FSL, в котором модели предоставляется ровно один помеченный пример для каждого нового класса. Он представляет собой наиболее сложный сценарий в рамках малочисленного обучения.
• Transfer Learning (Перенос обучения): FSL — это форма переноса обучения, но эти два понятия не идентичны. Традиционный перенос обучения часто включает в себя использование модели, предварительно обученной на большом наборе данных, таком как ImageNet, и ее тонкую настройку на меньшем, новом наборе данных. FSL специально разработан для сценариев, когда новый набор данных чрезвычайно мал (например, менее 10 примеров на класс). Вы можете узнать, как модели, такие как Ultralytics YOLO11, используют предварительно обученные веса для переноса обучения, в нашей документации по обучению моделей.

Применение в реальном мире

FSL особенно полезна в специализированных областях, где данные ограничены.

1. Диагностика редких заболеваний в медицинской визуализации: Для редких заболеваний сбор тысяч сканов пациентов для обучения модели часто невозможен. С помощью FSL модель, предварительно обученная на большом наборе данных распространенных медицинских изображений, может быть адаптирована для выявления признаков редкого заболевания, используя всего несколько подтвержденных случаев. Это ускоряет разработку инструментов диагностики для анализа медицинских изображений.
2. Обнаружение дефектов в промышленности: В производстве новая линейка продуктов может иметь уникальные и редкие дефекты. Вместо приостановки производства для сбора тысяч примеров дефектов, модель FSL для обнаружения объектов может быть быстро обучена на нескольких образцах для автоматизации контроля качества, повышения эффективности и сокращения отходов. Платформы, такие как Ultralytics HUB, могут помочь в управлении такими специализированными наборами данных и ускорить развертывание моделей.

Проблемы и будущие направления

Несмотря на свои перспективы, FSL сталкивается со значительными проблемами. Основным препятствием является предотвращение переобучения, поскольку модель может легко запомнить несколько примеров вместо того, чтобы научиться обобщать. Производительность модели также может быть очень чувствительной к качеству и репрезентативности предоставленных вспомогательных примеров.

Текущие исследования, проводимые такими учреждениями, как Стэнфордский университет, Google AI и Meta AI, сосредоточены на создании более надежных алгоритмов мета-обучения и более эффективном использовании методов неконтролируемого или самоконтролируемого обучения для предварительной подготовки. Комбинирование этих подходов направлено на создание более гибких и эффективных с точки зрения данных систем ИИ, расширяющих границы возможного в средах с ограниченным объемом данных. Передовые фреймворки, такие как PyTorch и TensorFlow, предоставляют необходимые инструменты для исследователей, изучающих эти передовые методы.