Zero-Shot Learning

Обучение с нулевым снимком (Zero-Shot Learning, ZSL) — это парадигма машинного обучения, позволяющая моделям искусственного интеллекта распознавать, классифицировать или обнаруживать объекты, с которыми они никогда не сталкивались на этапе обучения. В традиционном supervised learning модели требуются тысячи размеченных примеров для каждой конкретной категории, которую необходимо идентифицировать. ZSL устраняет эту строгую зависимость, используя вспомогательную информацию — как правило, текстовые описания, семантические атрибуты или embeddings — для преодоления разрыва между известными и неизвестными классами. Такая возможность позволяет системам artificial intelligence (AI) стать значительно более гибкими, масштабируемыми и способными справляться с динамичными средами, где сбор исчерпывающих данных для каждого возможного объекта непрактичен.

Link to this sectionКак работает обучение с нулевым снимком#

Основной механизм ZSL включает перенос знаний от знакомых концепций к незнакомым с использованием общего семантического пространства. Вместо того чтобы учиться распознавать «зебру» исключительно путем запоминания пиксельных паттернов черных и белых полос, модель изучает взаимосвязь между визуальными признаками и семантическими атрибутами (например, «форма как у лошади», «полосатый узор», «четыре ноги»), полученными из natural language processing (NLP).

Этот процесс часто опирается на multi-modal models, которые сопоставляют представления изображений и текста. Например, фундаментальные исследования, такие как OpenAI's CLIP, демонстрируют, как модели могут изучать визуальные концепции на основе обучения с естественным языком. Когда модель ZSL сталкивается с неизвестным объектом, она извлекает визуальные признаки и сравнивает их со словарем семантических векторов. Если визуальные признаки совпадают с семантическим описанием нового класса, модель может правильно классифицировать его, эффективно выполняя «zero-shot» предсказание. Этот подход является фундаментальным для современных foundation models, которые обобщают данные для широкого спектра задач.

Link to this sectionРеальные приложения#

Обучение с нулевым снимком стимулирует инновации в различных отраслях, позволяя системам обобщать данные за пределами их первоначального набора обучения.

1. Детекция объектов с открытым словарем: Современные архитектуры, такие как YOLO-World, используют ZSL для обнаружения объектов на основе текстовых подсказок, заданных пользователем. Это позволяет выполнять object detection в сценариях, где заранее определить фиксированный список классов невозможно, например, при поиске конкретных элементов в огромных видеоархивах. Исследователи из Google Research продолжают расширять границы возможностей таких систем с открытым словарем.

2. Медицинская диагностика: В сфере AI in healthcare получение размеченных данных для редких заболеваний часто бывает сложным и дорогостоящим. Модели ZSL могут обучаться на распространенных заболеваниях и описаниях редких симптомов из медицинской литературы, найденной в базах данных, таких как PubMed, что позволяет системе отмечать потенциальные редкие аномалии на медицинских изображениях без необходимости в огромном наборе данных с положительными случаями.

3. Охрана дикой природы: Для AI in agriculture и экологии критически важно идентифицировать вымирающие виды, которые редко фотографируются. ZSL позволяет специалистам по охране природы обнаруживать этих животных, используя описания на основе атрибутов, определенные в биологических базах данных, таких как Encyclopedia of Life.

Link to this sectionДетекция с нулевым снимком с использованием Ultralytics#

Модель Ultralytics YOLO-World является примером работы обучения с нулевым снимком. Она позволяет пользователям определять пользовательские классы динамически во время выполнения без переобучения модели. Это достигается путем соединения надежного детекционного бэкенда с текстовым энкодером, который понимает естественный язык.

Следующий пример на Python демонстрирует, как использовать YOLO-World для обнаружения объектов, которые явно не входили в стандартный набор обучения, с помощью пакета ultralytics.

from ultralytics import YOLOWorld

# Load a pre-trained YOLO-World model capable of Zero-Shot Learning
model = YOLOWorld("yolov8s-world.pt")

# Define custom classes via text prompts (e.g., specific accessories)
# The model adjusts to detect these new classes without retraining
model.set_classes(["blue backpack", "red apple", "sunglasses"])

# Run inference on an image to detect the new zero-shot classes
results = model.predict("https://ultralytics.com/images/bus.jpg")

# Display the results
results[0].show()

Link to this sectionОтличие от связанных понятий#

Чтобы полностью понять ZSL, полезно отличить его от похожих стратегий обучения, используемых в computer vision (CV):

• Few-Shot Learning (FSL): В то время как для ZSL не требуются примеры целевого класса, FSL предоставляет модели очень маленький набор поддержки (обычно от 1 до 5 примеров) для адаптации. ZSL обычно считается более сложной задачей, поскольку он полностью опирается на семантический вывод, а не на визуальные примеры.
• One-Shot Learning: Подмножество FSL, где модель обучается всего на одном размеченном примере. ZSL фундаментально отличается тем, что работает даже без единого изображения новой категории.
• Transfer Learning: Этот широкий термин относится к переносу знаний из одной задачи в другую. ZSL — это специфический тип трансферного обучения, который использует семантические атрибуты для переноса знаний на неизвестные классы без необходимости традиционной fine-tuning на новых данных.

Link to this sectionПроблемы и перспективы на будущее#

Несмотря на огромный потенциал ZSL, он сталкивается с такими проблемами, как проблема доменного сдвига (domain shift problem), когда семантические атрибуты, изученные во время обучения, не идеально соответствуют визуальному облику неизвестных классов. Кроме того, модели ZSL могут страдать от предвзятости, при которой точность предсказания значительно выше для известных классов по сравнению с неизвестными.

Исследования организаций, таких как Stanford University's AI Lab и IEEE Computer Society, продолжают решать эти ограничения. По мере того как computer vision tools становятся более надежными, ожидается, что ZSL станет стандартной функцией, уменьшающей зависимость от масштабных работ по data labeling. Для команд, стремящихся эффективно управлять наборами данных перед развертыванием продвинутых моделей, Ultralytics Platform предлагает комплексные инструменты для аннотирования и управления данными.