Zero-Shot Learning

Обучение без примеров (ZSL) — это парадигма машинного обучения, которая позволяет моделям искусственного интеллекта распознавать, классифицировать или обнаруживать объекты, с которыми они никогда не сталкивались на этапе обучения. В традиционном обучении с учителем модели требуются тысячи размеченных примеров для каждой конкретной категории, которую необходимо распознавать. ZSL устраняет эту строгую зависимость, используя вспомогательную информацию — обычно текстовые описания, семантические атрибуты или эмбеддинги, — чтобы связать известные и неизвестные классы. Благодаря этой возможности системы искусственного интеллекта (AI) становятся значительно более гибкими и масштабируемыми и могут работать в динамичных средах, где сбор исчерпывающих данных для каждого возможного объекта непрактичен.

Как работает обучение без примеров#

Основной механизм ZSL заключается в переносе знаний от знакомых концепций к незнакомым с использованием общего семантического пространства. Вместо того чтобы учиться распознавать «зебру» исключительно путем запоминания пиксельных шаблонов черно-белых полос, модель изучает связь между визуальными признаками и семантическими атрибутами (например, «форма, похожая на лошадь», «полосатый рисунок», «четыре ноги»), полученными с помощью обработки естественного языка (NLP).

Этот процесс часто опирается на мультимодальные модели, которые сопоставляют представления изображений и текста. Например, фундаментальные исследования, такие как CLIP от OpenAI, демонстрируют, как модели могут изучать визуальные концепции под руководством естественного языка. Когда модель ZSL сталкивается с неизвестным объектом, она извлекает визуальные признаки и сравнивает их со словарем семантических векторов. Если визуальные признаки соответствуют семантическому описанию нового класса, модель может правильно классифицировать объект, фактически выполняя предсказание «без примеров». Этот подход лежит в основе современных базовых моделей, которые обобщают знания для широкого спектра задач.

Практические применения#

Обучение без примеров стимулирует инновации в различных отраслях, позволяя системам обобщать знания за пределы исходных обучающих данных.

1. Обнаружение объектов с открытым словарем: современные архитектуры, такие как YOLO-World, используют ZSL для обнаружения объектов на основе текстовых запросов, заданных пользователем. Это позволяет выполнять обнаружение объектов в сценариях, где заранее определить фиксированный список классов невозможно, например при поиске определенных предметов в огромных видеоархивах. Исследователи из Google Research продолжают расширять возможности обнаружения объектов с открытым словарем.

2. Медицинская диагностика: в сфере искусственного интеллекта в здравоохранении получение размеченных данных о редких заболеваниях часто бывает сложным и дорогостоящим. Модели ZSL можно обучать на распространенных заболеваниях и описаниях редких симптомов из медицинской литературы, доступной в таких базах данных, как PubMed, что позволяет системе выявлять потенциальные редкие аномалии на медицинских изображениях без необходимости собирать огромный набор данных с положительными случаями.

3. Сохранение дикой природы: для искусственного интеллекта в сельском хозяйстве и экологии критически важно выявлять исчезающие виды, которые редко попадают на фотографии. ZSL позволяет специалистам по охране природы обнаруживать этих животных с помощью описаний на основе атрибутов, определенных в биологических базах данных, таких как Encyclopedia of Life.

Обнаружение без примеров с Ultralytics#

Модель Ultralytics YOLO-World демонстрирует обучение без примеров в действии. Она позволяет пользователям динамически задавать пользовательские классы во время выполнения без повторного обучения модели. Это достигается путем объединения надежной основы для обнаружения с текстовым энкодером, который понимает естественный язык.

Следующий пример на Python демонстрирует, как использовать YOLO-World для обнаружения объектов, которые явно не входили в стандартный обучающий набор, с помощью пакета ultralytics.

from ultralytics import YOLOWorld

# Load a pre-trained YOLO-World model capable of Zero-Shot Learning
model = YOLOWorld("yolov8s-world.pt")

# Define custom classes via text prompts (e.g., specific accessories)
# The model adjusts to detect these new classes without retraining
model.set_classes(["blue backpack", "red apple", "sunglasses"])

# Run inference on an image to detect the new zero-shot classes
results = model.predict("https://ultralytics.com/images/bus.jpg")

# Display the results
results[0].show()

Отличия от связанных концепций#

Чтобы полностью понять ZSL, полезно отличать его от похожих стратегий обучения, используемых в компьютерном зрении (CV):

• Обучение на небольшом количестве примеров (FSL): в то время как ZSL не требует ни одного примера целевого класса, FSL предоставляет модели очень небольшой набор поддержки (обычно от 1 до 5 примеров) для адаптации. ZSL обычно считается более сложным подходом, поскольку полностью полагается на семантический вывод, а не на визуальные примеры.
• Обучение по одному примеру: разновидность FSL, при которой модель обучается ровно на одном размеченном примере. ZSL принципиально отличается тем, что работает даже без единого изображения новой категории.
• Трансферное обучение: этот общий термин обозначает перенос знаний от одной задачи к другой. ZSL — это конкретный тип трансферного обучения, в котором семантические атрибуты используются для переноса знаний на неизвестные классы без необходимости традиционной тонкой настройки на новых данных.

Проблемы и перспективы развития#

Несмотря на огромный потенциал ZSL, этот подход сталкивается с такими проблемами, как проблема сдвига домена, когда семантические атрибуты, изученные во время обучения, не идеально соответствуют визуальному виду неизвестных классов. Кроме того, модели ZSL могут страдать от смещения: точность предсказаний для известных классов значительно выше, чем для неизвестных.

Исследовательские организации, такие как лаборатория искусственного интеллекта Стэнфордского университета и IEEE Computer Society, продолжают работать над устранением этих ограничений. По мере повышения надежности инструментов компьютерного зрения ожидается, что ZSL станет стандартной функцией и снизит зависимость от масштабных процессов разметки данных. Для команд, которым нужно эффективно управлять наборами данных перед развертыванием продвинутых моделей, платформа Ultralytics предлагает комплексные инструменты для аннотирования и управления наборами данных.