Zero-Shot Learning

Zero-Shot Learning (ZSL) — это парадигма машинного обучения, которая позволяет моделям искусственного интеллекта распознавать, классифицировать или обнаруживать объекты, с которыми они никогда не сталкивались на этапе обучения. В традиционном обучении с учителем модели требуются тысячи размеченных примеров для каждой конкретной категории, которую необходимо идентифицировать. ZSL устраняет эту жесткую зависимость за счет использования вспомогательной информации — как правило, текстовых описаний, семантических атрибутов или эмбеддингов — для преодоления разрыва между известными и неизвестными классами. Эта возможность делает системы искусственного интеллекта (ИИ) значительно более гибкими, масштабируемыми и способными справляться с динамическими средами, где сбор исчерпывающих данных для каждого возможного объекта нецелесообразен.

Как работает обучение с нулевым снимком#

Основной механизм ZSL заключается в переносе знаний из знакомых концептов в незнакомые с помощью общего семантического пространства. Вместо того чтобы учиться распознавать «зебру» исключительно путем запоминания шаблонов пикселей черных и белых полос, модель изучает взаимосвязь между визуальными признаками и семантическими атрибутами (например, «форма, похожая на лошадь», «полосатый узор», «четыре ноги»), полученными из обработки естественного языка (NLP).

Этот процесс часто опирается на мультимодальные модели, которые сопоставляют представления изображений и текста. Например, фундаментальные исследования, такие как OpenAI's CLIP, демонстрируют, как модели могут изучать визуальные концепты на основе контроля естественного языка. Когда модель ZSL сталкивается с неизвестным объектом, она извлекает визуальные признаки и сравнивает их со словарем семантических векторов. Если визуальные признаки соответствуют семантическому описанию нового класса, модель может правильно его классифицировать, эффективно выполняя «zero-shot» предсказание. Такой подход является основополагающим для современных фундаментальных моделей, которые обобщают данные для огромного спектра задач.

Реальные приложения#

Обучение с нулевым снимком стимулирует инновации в различных отраслях, позволяя системам обобщать данные за пределами их первоначального набора обучения.

1. Детекция объектов с открытым словарем: Современные архитектуры, такие как YOLO-World, используют ZSL для обнаружения объектов на основе заданных пользователем текстовых промптов. Это позволяет выполнять детекцию объектов в сценариях, где заранее определить фиксированный список классов невозможно, например при поиске конкретных элементов в обширных видеоархивах. Исследователи из Google Research продолжают раздвигать границы этих возможностей работы с открытым словарем.

2. Медицинская диагностика: В сфере ИИ в здравоохранении получение размеченных данных для редких заболеваний часто представляет собой сложную и дорогостоящую задачу. Модели ZSL можно обучать на распространенных состояниях и описаниях редких симптомов из медицинской литературы, найденной в таких базах данных, как PubMed, что позволяет системе выявлять потенциальные редкие аномалии на медицинских изображениях без необходимости использования огромного набора данных с положительными примерами.

3. Охрана дикой природы: Для ИИ в сельском хозяйстве и экологии крайне важна идентификация находящихся под угрозой исчезновения видов, которые редко попадают на фотографии. ZSL позволяет специалистам по охране природы обнаруживать этих животных с помощью описаний на основе атрибутов, определенных в биологических базах данных, таких как Encyclopedia of Life.

Детекция с нулевым снимком с использованием Ultralytics#

Модель Ultralytics YOLO-World является ярким примером Zero-Shot Learning в действии. Она позволяет пользователям динамически определять пользовательские классы во время выполнения без переобучения модели. Это достигается путем соединения надежного бэкбона детекции с текстовым энкодером, который понимает естественный язык.

Следующий пример на Python демонстрирует, как использовать YOLO-World для обнаружения объектов, которые не входили явно в стандартный набор для обучения, с помощью пакета ultralytics.

from ultralytics import YOLOWorld

# Load a pre-trained YOLO-World model capable of Zero-Shot Learning
model = YOLOWorld("yolov8s-world.pt")

# Define custom classes via text prompts (e.g., specific accessories)
# The model adjusts to detect these new classes without retraining
model.set_classes(["blue backpack", "red apple", "sunglasses"])

# Run inference on an image to detect the new zero-shot classes
results = model.predict("https://ultralytics.com/images/bus.jpg")

# Display the results
results[0].show()

Отличие от связанных понятий#

Чтобы полностью понять ZSL, полезно отличать его от аналогичных стратегий обучения, используемых в компьютерном зрении (CV):

• Few-Shot Learning (FSL): В то время как для ZSL не требуется ни одного примера целевого класса, FSL предоставляет модели очень небольшой опорный набор (обычно от 1 до 5 примеров) для адаптации. ZSL обычно считается более сложной задачей, так как он полностью опирается на семантический вывод, а не на визуальные примеры.
• One-Shot Learning: Подмножество FSL, где модель обучается ровно на одном размеченном примере. ZSL кардинально отличается тем, что работает даже без единого изображения новой категории.
• Transfer Learning: Этот общий термин относится к переносу знаний с одной задачи на другую. ZSL — это особый тип трансферного обучения, который использует семантические атрибуты для переноса знаний на неизученные классы без необходимости традиционной тонкой настройки (fine-tuning) на новых данных.

Проблемы и перспективы на будущее#

Несмотря на огромный потенциал ZSL, он сталкивается с такими проблемами, как проблема доменного сдвига (domain shift problem), когда семантические атрибуты, изученные во время обучения, не идеально соответствуют визуальному облику неизвестных классов. Кроме того, модели ZSL могут страдать от предвзятости, при которой точность предсказания значительно выше для известных классов по сравнению с неизвестными.

Исследования таких организаций, как Stanford University's AI Lab и IEEE Computer Society, продолжают устранять эти ограничения. По мере того как инструменты компьютерного зрения становятся более надежными, ожидается, что ZSL станет стандартной функцией, снижающей зависимость от масштабных усилий по разметке данных. Для команд, стремящихся эффективно управлять наборами данных перед развертыванием передовых моделей, Ultralytics Platform предлагает комплексные инструменты для аннотирования и управления датасетами.