Понимание few-shot, zero-shot и трансферного обучения

Системы искусственного интеллекта (ИИ) способны решать сложные задачи, такие как распознавание лиц, классификация изображений и управление автомобилями, при минимальном участии человека. Они делают это, изучая данные, распознавая закономерности и используя их для прогнозов или принятия решений. По мере развития ИИ мы наблюдаем все более совершенные способы обучения, адаптации и выполнения задач моделями ИИ с поразительной эффективностью.

Например, компьютерное зрение — это отрасль ИИ, специализирующаяся на обучении машин интерпретировать и понимать визуальную информацию из окружающего мира. Традиционная разработка моделей компьютерного зрения сильно зависит от больших аннотированных наборов данных для обучения. Сбор и разметка таких данных могут быть трудоемкими и дорогостоящими.

Чтобы справиться с этими проблемами, исследователи внедрили инновационные подходы, такие как few-shot обучение (FSL), которое учится на ограниченном количестве примеров; zero-shot обучение (ZSL), которое идентифицирует ранее не виденные объекты; и трансферное обучение (TL), которое применяет знания, полученные предварительно обученными моделями, к новым задачам.

В этой статье мы разберемся, как работают эти парадигмы обучения, выделим их основные различия и рассмотрим примеры их применения в реальном мире. Давай начнем!

Link to this sectionОбзор парадигм обучения#

Давай разберемся, что такое few-shot обучение, zero-shot обучение и трансферное обучение в контексте компьютерного зрения и как они работают.

Link to this sectionFew-shot обучение#

Few-shot обучение — это метод, при котором системы учатся распознавать новые объекты, используя лишь небольшое количество примеров. Например, если показать модели несколько фотографий пингвина, пеликана и тупика (эта небольшая группа называется «набором поддержки» или "support set"), она поймет, как выглядят эти птицы.

В дальнейшем, если ты покажешь модели новую картинку, например, пингвина, она сравнит это новое изображение с теми, что есть в ее наборе поддержки, и выберет наиболее близкое совпадение. Этот метод полезен в ситуациях, когда собрать большой объем данных сложно, так как система все равно может учиться и адаптироваться, имея лишь несколько примеров.

Рис. 1. Обзор того, как работает few-shot обучение.

Link to this sectionZero-shot обучение#

Zero-shot обучение — это способ распознавания машинами вещей, которые они никогда раньше не видели, без необходимости в примерах этих вещей. Оно использует семантическую информацию, например описания, для создания логических связей.

Например, если машина изучила животных, таких как кошки, львы и лошади, понимая такие признаки, как «маленький и пушистый», «большая дикая кошка» или «вытянутая морда», она может использовать эти знания для идентификации нового животного, например тигра. Даже если она никогда раньше не видела тигра, она может использовать описание «животное, похожее на льва, с темными полосами», чтобы правильно его идентифицировать. Это упрощает обучение и адаптацию машин без необходимости в огромном количестве примеров.

Рис. 2. Zero-shot обучение идентифицирует новые объекты с использованием описаний.

Link to this sectionТрансферное обучение#

Трансферное обучение — это парадигма обучения, при которой модель использует то, что она узнала при решении одной задачи, чтобы помочь в решении похожей новой задачи. Этот метод особенно полезен, когда речь идет о задачах компьютерного зрения, таких как обнаружение объектов, классификация изображений и распознавание образов.

Например, в компьютерном зрении предварительно обученная модель может распознавать общие объекты, такие как животные, а затем дообучаться с помощью трансферного обучения, чтобы идентифицировать конкретные виды, например определенные породы собак. Повторно используя знания из предыдущих задач, трансферное обучение упрощает обучение моделей компьютерного зрения на меньших наборах данных, экономя время и усилия.

Рис. 3. Обзор того, как работает трансферное обучение.

Возможно, тебе интересно, какие модели поддерживают трансферное обучение. Ultralytics YOLO11 — отличный пример модели компьютерного зрения, которая умеет это делать. Это современная модель обнаружения объектов, которая сначала предварительно обучается на большом общем наборе данных. После этого ее можно дообучать и специализированно настраивать на меньшем, узкоспециализированном наборе данных для решения конкретных задач.

Link to this sectionСравнение парадигм обучения#

Теперь, когда мы обсудили few-shot, zero-shot и трансферное обучение, давай сравним их, чтобы увидеть, в чем они различаются.

Рис. 4. Ключевые различия между few-shot, zero-shot и трансферным обучением. Изображение от автора.

Few-shot обучение полезно, когда у тебя есть лишь небольшой объем размеченных данных. Оно позволяет модели ИИ учиться всего на нескольких примерах. Zero-shot обучение, с другой стороны, не требует размеченных данных. Вместо этого оно использует описания или контекст, помогая системе решать новые задачи. Трансферное обучение использует иной подход, применяя знания от предварительно обученных моделей, что позволяет им быстро адаптироваться к новым задачам при минимальном количестве дополнительных данных. Каждый метод имеет свои сильные стороны в зависимости от типа данных и задачи, над которой ты работаешь.

Link to this sectionПрименение различных парадигм обучения в реальном мире#

Эти парадигмы обучения уже приносят пользу во многих секторах, решая сложные проблемы с помощью инновационных решений. Давай более подробно рассмотрим, как их можно применять в реальном мире.

Link to this sectionДиагностика редких заболеваний с помощью few-shot обучения#

Few-shot обучение меняет правила игры в секторе здравоохранения, особенно в медицинской визуализации. Оно может помочь врачам диагностировать редкие заболевания, используя лишь несколько примеров или даже описания, без необходимости в больших массивах данных. Это особенно полезно, когда данных мало, что часто бывает, поскольку сбор больших наборов данных для редких патологий может быть затруднительным.

Например, SHEPHERD использует few-shot обучение и биомедицинские графы знаний для диагностики редких генетических расстройств. Он сопоставляет информацию о пациенте, такую как симптомы и результаты анализов, с сетью известных генов и заболеваний. Это помогает точно определить вероятную генетическую причину и найти схожие случаи, даже при ограниченном количестве данных.

Рис. 5. Модель Shepherd диагностирует редкие заболевания, используя минимум данных.

Link to this sectionУлучшение обнаружения болезней растений с помощью zero-shot обучения#

В сельском хозяйстве быстрое выявление болезней растений крайне важно, так как задержки могут привести к массовой гибели урожая, снижению объемов производства и значительным финансовым потерям. Традиционные методы часто полагаются на большие наборы данных и знания экспертов, которые не всегда доступны, особенно в отдаленных районах или в условиях ограниченных ресурсов. Именно здесь на помощь приходят достижения в области ИИ, такие как zero-shot обучение.

Допустим, фермер выращивает помидоры и картофель и замечает симптомы, такие как пожелтение листьев или коричневые пятна. Zero-shot обучение может помочь идентифицировать болезни, например фитофтороз, не требуя больших наборов данных. Используя описания симптомов, модель может классифицировать болезни, которые она раньше не видела. Этот подход быстр, масштабируем и позволяет фермерам выявлять различные проблемы растений. Это помогает им эффективнее контролировать здоровье посевов, своевременно принимать меры и сокращать потери.

Рис. 6. Использование zero-shot обучения для идентификации болезней растений.

Link to this sectionАвтономные транспортные средства и трансферное обучение#

Автономным транспортным средствам часто необходимо адаптироваться к различным условиям для безопасного передвижения. Трансферное обучение помогает им использовать предварительные знания для быстрой настройки под новые условия без начала обучения с нуля. В сочетании с компьютерным зрением, которое помогает автомобилям интерпретировать визуальную информацию, эти технологии обеспечивают более плавное движение по разным типам дорог и в разных погодных условиях, делая автономное вождение более эффективным и надежным.

Хорошим примером реализации этого является система управления парковкой, которая использует Ultralytics YOLO11 для мониторинга парковочных мест. YOLO11, будучи предварительно обученной моделью обнаружения объектов, может быть дообучена с помощью трансферного обучения для идентификации пустых и занятых мест в режиме реального времени. Обучая модель на меньшем наборе данных изображений парковки, она учится точно определять свободные места, занятые парковочные слоты и даже зарезервированные зоны.

Рис. 7. Управление парковкой с использованием Ultralytics YOLO11.

Интегрированная с другими технологиями, эта система может направлять водителей к ближайшему свободному месту, помогая сократить время поиска и уменьшить заторы. Трансферное обучение делает это возможным, опираясь на существующие возможности обнаружения объектов в YOLO11, позволяя модели адаптироваться к конкретным потребностям управления парковкой без необходимости начинать все сначала. Такой подход экономит время и ресурсы, создавая высокоэффективное и масштабируемое решение, которое улучшает процессы парковки и общий пользовательский опыт.

Link to this sectionНовые тенденции в парадигмах обучения#

Будущее парадигм обучения в компьютерном зрении склоняется к развитию более интеллектуальных и устойчивых систем визуального ИИ. В частности, растущим трендом является использование гибридных подходов, объединяющих few-shot обучение, zero-shot обучение и трансферное обучение. Сочетая сильные стороны этих методов, модели могут изучать новые задачи при минимальных данных и применять свои знания в разных областях.

Интересным примером является использование адаптированных глубоких вложений для дообучения моделей с использованием знаний из предыдущих задач и небольшого количества новых данных, что облегчает работу с ограниченными наборами данных.

Аналогичным образом, X-shot обучение разработано для решения задач с разным объемом данных. Оно использует слабое обучение, при котором модели учатся на ограниченных или зашумленных метках, а также четкие инструкции, помогающие им быстро адаптироваться даже при наличии малого количества примеров или их полном отсутствии. Эти гибридные подходы показывают, как интеграция различных методов обучения может помочь системам ИИ более эффективно решать поставленные задачи.

Link to this sectionОсновные выводы#

Few-shot обучение, zero-shot обучение и трансферное обучение — каждое из них решает свои специфические проблемы в компьютерном зрении, что делает их подходящими для разных задач. Правильный подход зависит от конкретного приложения и количества доступных данных. Например, few-shot обучение хорошо работает при ограниченных данных, а zero-shot обучение отлично подходит для обработки новых или незнакомых классов.

Заглядывая в будущее, можно сказать, что объединение этих методов для создания гибридных моделей, интегрирующих зрение, язык и аудио, станет ключевым фокусом. Эти достижения направлены на то, чтобы сделать системы ИИ более гибкими, эффективными и способными к решению сложных проблем, открывая новые возможности для инноваций в этой области.

Узнай больше об ИИ, присоединившись к нашему сообществу и посетив наш репозиторий GitHub. Узнай, как ИИ в беспилотных автомобилях и компьютерное зрение в сельском хозяйстве меняют будущее. Ознакомься с доступными вариантами лицензии YOLO, чтобы начать!