Лицензия YOLO
Назад к глоссарию Ultralytics

Vision Language Model (VLM)

Модель зрения и языка (VLM) обрабатывает изображения и текст одновременно, чтобы создавать подписи, отвечать на вопросы и находить объекты по названию. Архитектуры и примеры.

Модель «зрение — язык» (VLM) — это нейронная сеть, которая обрабатывает изображения, а часто и видео вместе с текстом. В зависимости от архитектуры она оценивает соответствие изображения подписи, описывает изображение текстом или находит объекты, названные в текстовом запросе. VLM отвечают на вопросы вроде «Сколько человек ждут на автобусной остановке?», преобразуют диаграммы и чеки в структурированные данные и находят объекты, описанные обычными словами. Эта модель объединяет визуальное восприятие систем компьютерного зрения, предсказывающих объекты из фиксированного списка классов, с языковыми возможностями больших языковых моделей (LLMs), которые работают с запросами без заранее заданных вариантов ответа.

Принцип работы моделей «зрение — язык»#

Каждой VLM нужен энкодер зрения, обычно Vision Transformer (ViT), преобразующий изображение в эмбеддинги, а также способ соотнести эти эмбеддинги с текстом. Распространены три архитектуры:

  • Двойные энкодеры: CLIP и SigLIP отдельно кодируют изображения и текст в общем пространстве эмбеддингов. Обучение проходит на сотнях миллионов или миллиардах пар изображений с подписями с помощью контрастивного обучения. Эти модели измеряют сходство, а не генерируют текст, поэтому обычно применяются для классификации без примеров (zero-shot) и поиска изображений.
  • Генеративные VLM: предварительно обученный энкодер зрения, часто на основе CLIP или SigLIP, передаёт данные проектору, который преобразует эмбеддинги патчей в «визуальные токены» в пространстве входных данных LLM. LLM считывает их вместе с текстовым запросом и формирует ответ. Так работает LLaVA-1.5: её энкодер CLIP ViT-L/14 делит изображение 336×336 на сетку патчей 24×24 и создаёт 576 визуальных токенов. Flamingo от DeepMind использует другой подход: добавляет слои cross-attention в замороженную LLM, чтобы текстовые токены могли учитывать признаки изображения.
  • Детекторы с открытым словарём: такие модели, как Grounding DINO, YOLO-World и YOLOE, сопоставляют области изображения с текстовыми эмбеддингами и возвращают рамки или маски для любых названных объектов. Эта задача называется привязкой к объектам (grounding). Некоторые генеративные VLM тоже привязывают объекты к тексту, выводя координаты рамок в виде текста или специальных токенов местоположения.

В генеративной архитектуре LLM формирует ответ по одному токену за раз, учитывая визуальные токены и запрос на каждом шаге:

Генеративные VLM обычно обучаются в несколько этапов. Сначала проектор учится сопоставлять визуальные токены с эмбеддингами LLM на парах изображений с подписями, пока энкодер и LLM остаются замороженными. Затем визуальная настройка по инструкциям дообучает модель на диалогах об изображениях, а настройка по предпочтениям, например с помощью RLHF, сокращает количество ответов с описанием объектов, которых нет на изображении.

Детекторы с открытым словарём используют такое же сопоставление с текстом для детекции в реальном времени. YOLOE, представленная исследователями Университета Цинхуа и доступная в пакете Ultralytics как YOLOE-26 на архитектуре YOLO26, преобразует названия классов в эмбеддинги с помощью текстового энкодера MobileCLIP2 от Apple и сопоставляет их с областями изображения. Модель возвращает рамки и маски экземпляров для категорий, на которых её не обучали. В запросах ниже есть слово sunglasses — этот класс не входит в 80 классов COCO, которые распознают модели YOLO с закрытым набором классов:

from ultralytics import YOLOE

# Загрузи модель YOLOE-26 для детекции и сегментации с открытым словарём
model = YOLOE("yoloe-26s-seg.pt")

# Укажи названия классов обычными словами; текстовый энкодер преобразует каждое название в эмбеддинг
model.set_classes(["person", "glasses", "bus"])

# Выполни детекцию и сегментацию только для классов из запроса
results = model("https://ultralytics.com/images/bus.jpg")
result = results[0]
print([result.names[int(c)] for c in result.boxes.cls])
result.save(filename="yoloe_prompts.jpg")

В выведенном списке указаны автобус, четыре человека и очки на двух из них, а изменение списка слов меняет обнаруживаемые моделью объекты без переобучения.

Примеры применения в реальных условиях#

  • Визуальные вопросы и ответы: инструменты для инспекции, розничной торговли и поддержки задают VLM вопросы об изображении, например полностью ли заполнена полка или какой предупреждающий индикатор горит на приборной панели.
  • Понимание документов: VLM считывают счета, формы, таблицы и диаграммы непосредственно с изображений страниц и возвращают структурированные поля, часто заменяя отдельный этап OCR.
  • Создание подписей к изображениям и обеспечение доступности: сгенерированные описания используются как альтернативный текст для программ чтения с экрана и как метаданные с возможностью поиска в библиотеках фотографий.
  • Робототехника: модели «зрение — язык — действие», такие как RT-2 от Google DeepMind, расширяют возможности VLM и выдают команды для роботов. Благодаря этому робот может выполнять инструкции вроде «подними пустую банку».
  • Разметка данных: детекторы с открытым словарем создают предварительные боксы и маски для новых классов по текстовым запросам, предлагая разметчикам начальный вариант вместо пустого изображения. Ultralytics Platform автоматически размечает наборы данных для обнаружения объектов с помощью таких детекторов и генеративных VLM до обучения модели YOLO26 на этих метках.
  • LLM: модель, работающая только с текстом. Многие генеративные VLM представляют собой LLM с подключённым энкодером зрения; они наследуют её способность рассуждать, знания и склонность выдумывать факты.
  • Мультимодальный ИИ: широкая категория моделей, объединяющих разные типы данных. Модель, сочетающая аудио с текстом или данные радара с изображениями с камеры, мультимодальна, но не является VLM.
  • Обнаружение объектов: детектор с фиксированным набором классов предсказывает только классы, на которых он обучался, и не принимает текстовый ввод. При выводе на первый план вместо него выходят детекторы с открытым словарем — это VLM, которые принимают названия классов во время инференса. Таблица лидеров VLM сравнивает точность обнаружения объектов в реальных наборах данных у детекторов с открытым словарем и генеративных VLM.

Ограничения#

VLM могут галлюцинировать: модель для создания подписей может упомянуть вилку на пустом столе, поскольку языковая модель достраивает вероятное предложение. Слабые стороны VLM также включают сложное пространственное рассуждение, подсчёт больших групп и чтение мелкого текста. Каждое изображение занимает сотни или тысячи токенов в контекстном окне LLM. Тест POPE измеряет галлюцинации объектов, задавая модели вопросы вроде «Есть ли на изображении машина?». Отсутствующие объекты выбираются случайным образом, из числа самых распространённых объектов набора данных или из объектов, которые часто встречаются рядом с присутствующими.

Изучи решения

Компьютерное зрение в спорте

Компьютерное зрение в спорте

Узнай, как Ultralytics YOLO обеспечивает компьютерное зрение в спорте: отслеживание игроков и мяча, аналитика результатов, полезные выводы для тренеров и реабилитация спортсменов.
Подробнее
Компьютерное зрение для аэросъёмки

Компьютерное зрение для аэросъёмки

Превращай снимки с дронов и аэрофотоснимки в полезные данные в реальном времени для сельского хозяйства, аквакультуры, охраны природы и геопространственного анализа с Ultralytics YOLO.
Подробнее
Компьютерное зрение в аэрокосмической отрасли

Компьютерное зрение в аэрокосмической отрасли

Применяй компьютерное зрение в аэрокосмической отрасли с Ultralytics YOLO: для осмотра самолётов, обнаружения посторонних предметов на взлётно-посадочных полосах, наземного обслуживания аэропортов и выявления дефектов композитных материалов.
Подробнее
Компьютерное зрение в сфере безопасности

Компьютерное зрение в сфере безопасности

Защити любой объект с помощью моделей Ultralytics YOLO. ИИ на базе компьютерного зрения обеспечивает мониторинг периметра, обнаружение угроз, распознавание номерных знаков и безопасность на рабочем месте.
Подробнее
Компьютерное зрение в робототехнике

Компьютерное зрение в робототехнике

Создавай более интеллектуальные машины с моделями Ultralytics YOLO. ИИ на базе компьютерного зрения в робототехнике обеспечивает автономную навигацию, восприятие, отслеживание объектов и управление в реальном времени.
Подробнее
Компьютерное зрение в логистике

Компьютерное зрение в логистике

Оптимизируй логистику с моделями Ultralytics YOLO. Визуальный AI обеспечивает проверку посылок, сортировку, отслеживание транспорта и мониторинг безопасности на складе в реальном времени.
Подробнее
Компьютерное зрение в розничной торговле

Компьютерное зрение в розничной торговле

Переосмысли розничную торговлю с моделями Ultralytics YOLO. Визуальный AI обеспечивает отслеживание запасов, мониторинг полок, управление очередями и более глубокое понимание поведения покупателей.
Подробнее
Компьютерное зрение в здравоохранении

Компьютерное зрение в здравоохранении

Создавай решения для здравоохранения с моделями Ultralytics YOLO. Визуальный AI в здравоохранении ускоряет медицинскую визуализацию, улучшает диагностику и мониторинг пациентов.
Подробнее
Компьютерное зрение в производстве

Компьютерное зрение в производстве

Оптимизируй производство с моделями Ultralytics YOLO. Компьютерное зрение на базе ИИ обеспечивает контроль качества, обнаружение дефектов, контроль использования СИЗ и автоматизацию сборочных линий.
Подробнее
Компьютерное зрение в автомобильной отрасли

Компьютерное зрение в автомобильной отрасли

Применяй компьютерное зрение в автомобильной отрасли с моделями Ultralytics YOLO. Компьютерное зрение на базе ИИ повышает безопасность дорожного движения, улучшает помощь водителю и автоматизацию автомобилей, делая дороги умнее.
Подробнее
Компьютерное зрение в сельском хозяйстве

Компьютерное зрение в сельском хозяйстве

Внедряй ИИ для компьютерного зрения в умное сельское хозяйство с моделями Ultralytics YOLO. Используй их для мониторинга посевов, отслеживания скота и точного земледелия, чтобы повысить урожайность и эффективность.
Подробнее

Давай вместе строить будущее ИИ!

Начни свой путь в будущее машинного обучения