Понимание few-shot, zero-shot и трансферного обучения

Системы искусственного интеллекта (ИИ) способны решать сложные задачи, такие как распознавание лиц, классификация изображений и управление автомобилями, при минимальном участии человека. Они делают это, изучая данные, распознавая закономерности и используя их для прогнозов или принятия решений. По мере развития ИИ мы наблюдаем все более совершенные способы обучения, адаптации и выполнения задач моделями ИИ с поразительной эффективностью.

Например, computer vision — это ветвь искусственного интеллекта, которая фокусируется на том, чтобы позволить машинам интерпретировать и понимать визуальную информацию из реального мира. Традиционная разработка моделей компьютерного зрения сильно зависит от больших аннотированных datasets для обучения. Сбор и разметка таких данных могут быть трудоемкими и дорогостоящими.

Чтобы справиться с этими проблемами, исследователи внедрили инновационные подходы, такие как few-shot обучение (FSL), которое учится на ограниченном количестве примеров; zero-shot обучение (ZSL), которое идентифицирует ранее не виденные объекты; и трансферное обучение (TL), которое применяет знания, полученные предварительно обученными моделями, к новым задачам.

В этой статье мы разберемся, как работают эти парадигмы обучения, выделим их основные различия и рассмотрим примеры их применения в реальном мире. Давай начнем!

Обзор парадигм обучения#

Давай разберемся, что такое few-shot обучение, zero-shot обучение и трансферное обучение в контексте компьютерного зрения и как они работают.

Few-shot обучение#

Few-shot learning — это метод, при котором системы учатся распознавать новые объекты, используя всего лишь небольшое количество примеров. Например, если показать модели несколько картинок пингвина, пеликана и тупика (эта небольшая группа называется «набором поддержки» или support set), она узнает, как выглядят эти птицы.

В дальнейшем, если ты покажешь модели новую картинку, например, пингвина, она сравнит это новое изображение с теми, что есть в ее наборе поддержки, и выберет наиболее близкое совпадение. Этот метод полезен в ситуациях, когда собрать большой объем данных сложно, так как система все равно может учиться и адаптироваться, имея лишь несколько примеров.

Fig 1. Обзор принципа работы few-shot learning.

Zero-shot обучение#

Zero-shot learning — это способ для машин распознавать то, чего они никогда раньше не видели, без необходимости использовать примеры этих вещей. Метод использует семантическую информацию, например описания, чтобы помогать устанавливать связи.

Например, если машина изучила животных, таких как кошки, львы и лошади, понимая такие признаки, как «маленький и пушистый», «большая дикая кошка» или «вытянутая морда», она может использовать эти знания для идентификации нового животного, например тигра. Даже если она никогда раньше не видела тигра, она может использовать описание «животное, похожее на льва, с темными полосами», чтобы правильно его идентифицировать. Это упрощает обучение и адаптацию машин без необходимости в огромном количестве примеров.

Fig 2. Zero-shot learning определяет новые объекты с помощью описаний.

Трансферное обучение#

Transfer learning — это парадигма обучения, в которой модель использует знания, полученные при решении одной задачи, чтобы помочь решить похожую новую задачу. Эта техника особенно полезна для computer vision tasks, таких как обнаружение объектов, классификация изображений и распознавание образов.

Например, в компьютерном зрении предобученная модель может распознавать общие объекты (например, животных), а затем дообучаться (fine-tuning) с помощью transfer learning для идентификации конкретных объектов, таких как различные породы собак. Повторно используя знания из прошлых задач, transfer learning упрощает обучение computer vision models на меньших наборах данных, экономя время и усилия.

Fig 3. Обзор принципа работы transfer learning.

Тебе наверняка интересно, какие именно модели поддерживают transfer learning. Ultralytics YOLO11 — отличный пример модели компьютерного зрения, которая это умеет. Это современная модель обнаружения объектов, которая сначала предобучается на большом общем наборе данных. После этого ее можно дообучать и выполнять custom-trained на меньшем специализированном датасете под конкретные задачи.

Сравнение парадигм обучения#

Теперь, когда мы обсудили few-shot, zero-shot и трансферное обучение, давай сравним их, чтобы увидеть, в чем они различаются.

Рис. 4. Ключевые различия между few-shot, zero-shot и трансферным обучением. Изображение от автора.

Few-shot обучение полезно, когда у тебя есть лишь небольшой объем размеченных данных. Оно позволяет модели ИИ учиться всего на нескольких примерах. Zero-shot обучение, с другой стороны, не требует размеченных данных. Вместо этого оно использует описания или контекст, помогая системе решать новые задачи. Трансферное обучение использует иной подход, применяя знания от предварительно обученных моделей, что позволяет им быстро адаптироваться к новым задачам при минимальном количестве дополнительных данных. Каждый метод имеет свои сильные стороны в зависимости от типа данных и задачи, над которой ты работаешь.

Применение различных парадигм обучения в реальном мире#

Эти парадигмы обучения уже приносят пользу во многих секторах, решая сложные проблемы с помощью инновационных решений. Давай более подробно рассмотрим, как их можно применять в реальном мире.

Диагностика редких заболеваний с помощью few-shot обучения#

Few-shot learning меняет правила игры в секторе здравоохранения, особенно в medical imaging. Метод помогает врачам диагностировать редкие заболевания, используя всего несколько примеров или даже описаний, без необходимости собирать огромные массивы данных. Это особенно ценно в условиях ограниченности данных, что часто случается при сборе информации о редких патологиях.

Например, SHEPHERD использует few-shot learning и биомедицинские графы знаний для диагностики редких генетических нарушений. Система сопоставляет информацию о пациенте (симптомы и результаты анализов) с сетью известных генов и болезней. Это помогает точно определить вероятную генетическую причину и найти похожие случаи даже при ограниченном объеме данных.

Fig 5. Модель Shepherd диагностирует редкие заболевания по минимальному объему данных.

Улучшение обнаружения болезней растений с помощью zero-shot обучения#

В сельском хозяйстве быстрое выявление болезней растений крайне важно, так как задержки могут привести к массовой гибели урожая, снижению объемов производства и значительным финансовым потерям. Традиционные методы часто полагаются на большие наборы данных и знания экспертов, которые не всегда доступны, особенно в отдаленных районах или в условиях ограниченных ресурсов. Именно здесь на помощь приходят достижения в области ИИ, такие как zero-shot обучение.

Допустим, фермер выращивает помидоры и картофель и замечает симптомы, такие как пожелтение листьев или коричневые пятна. Zero-shot обучение может помочь идентифицировать болезни, например фитофтороз, не требуя больших наборов данных. Используя описания симптомов, модель может классифицировать болезни, которые она раньше не видела. Этот подход быстр, масштабируем и позволяет фермерам выявлять различные проблемы растений. Это помогает им эффективнее контролировать здоровье посевов, своевременно принимать меры и сокращать потери.

Fig 6. Использование zero-shot learning для определения болезней растений.

Автономные транспортные средства и трансферное обучение#

Автономным транспортным средствам часто необходимо адаптироваться к различным условиям для безопасного передвижения. Трансферное обучение помогает им использовать предварительные знания для быстрой настройки под новые условия без начала обучения с нуля. В сочетании с компьютерным зрением, которое помогает автомобилям интерпретировать визуальную информацию, эти технологии обеспечивают более плавное движение по разным типам дорог и в разных погодных условиях, делая автономное вождение более эффективным и надежным.

Хорошим примером практического применения является parking management system, которая использует Ultralytics YOLO11 для мониторинга парковочных мест. Предобученная модель обнаружения объектов YOLO11 может быть дообучена с помощью transfer learning для определения свободных и занятых парковочных мест в реальном времени. Обучив модель на небольшом наборе изображений парковки, ты получаешь инструмент для точного обнаружения свободных мест, занятых зон и даже зарезервированных участков.

Fig 7. Управление парковкой с помощью Ultralytics YOLO11.

Интегрированная с другими технологиями, эта система может направлять водителей к ближайшему свободному месту, помогая сократить время поиска и пробки. Обучение переносу делает это возможным, опираясь на существующие возможности обнаружения объектов Ultralytics YOLO11, что позволяет адаптировать его под конкретные задачи управления парковкой без необходимости начинать с нуля. Такой подход экономит время и ресурсы, создавая при этом высокоэффективное и масштабируемое решение, которое оптимизирует работу парковок и улучшает общий пользовательский опыт.

Новые тенденции в парадигмах обучения#

Будущее парадигм обучения в компьютерном зрении склоняется к созданию более интеллектуальных и устойчивых систем визуального ИИ. В частности, растущим трендом становится использование hybrid approaches, объединяющих few-shot learning, zero-shot learning и transfer learning. Соединяя сильные стороны этих методов, модели могут изучать новые задачи с минимальным количеством данных и применять свои знания в самых разных областях.

Интересный пример — использование adapted deep embeddings для дообучения моделей с опорой на знания из прошлых задач и небольшой объем новых данных, что значительно упрощает работу с ограниченными датасетами.

Аналогичным образом X-shot learning разработан для работы с задачами разного объема данных. Метод использует слабую разметку (weak supervision), когда модели учатся на ограниченных или зашумленных данных, а также четкие инструкции, помогающие быстро адаптироваться даже при отсутствии или минимальном количестве предварительных примеров. Эти гибридные подходы показывают, как интеграция различных методов обучения помогает ИИ эффективнее справляться со сложными задачами.

Основные выводы#

Few-shot обучение, zero-shot обучение и трансферное обучение — каждое из них решает свои специфические проблемы в компьютерном зрении, что делает их подходящими для разных задач. Правильный подход зависит от конкретного приложения и количества доступных данных. Например, few-shot обучение хорошо работает при ограниченных данных, а zero-shot обучение отлично подходит для обработки новых или незнакомых классов.

Заглядывая в будущее, можно сказать, что объединение этих методов для создания гибридных моделей, интегрирующих зрение, язык и аудио, станет ключевым фокусом. Эти достижения направлены на то, чтобы сделать системы ИИ более гибкими, эффективными и способными к решению сложных проблем, открывая новые возможности для инноваций в этой области.

Узнай больше об искусственном интеллекте, присоединившись к our community и заглянув в our GitHub repository. Посмотри, как AI in self-driving cars и computer vision in agriculture меняют будущее. Ознакомься с доступными вариантами в YOLO license, чтобы начать работу!