Visual Instruction Tuning

Визуальная настройка на инструкции — это дообучение визуально-языковой модели (VLM) на примерах, где изображение и инструкция на естественном языке связаны с желаемым ответом. Так модель учится выполнять открытые запросы об изображениях: описывать сцену, отвечать на вопрос, читать текст или рассуждать о показанном. Этот подход переносит текстовую настройку на инструкции на изображения и превращает модель, которая лишь сопоставляет изображения и слова, в визуального помощника. Хаотянь Лю, Чуньюань Ли, Цинъян У и Ён Джэ Ли из Университета Висконсин — Мэдисон, Microsoft Research и Колумбийского университета ввели этот термин в статье «Визуальная настройка на инструкции», представленной устно на NeurIPS 2023, вместе с созданной ими моделью LLaVA (большой языковой и визуальный помощник).

Генерация данных для инструкций#

Наборов данных, связывающих изображения с инструкциями и ответами, было мало, поэтому авторы LLaVA сгенерировали их с помощью текстовой модели. Для каждого изображения COCO они предоставляли GPT-4 символьное описание изображения — написанные людьми подписи и ограничивающие рамки с категориями объектов и координатами, а также несколько примеров, написанных вручную, — и просили составить вопросы и ответы так, будто модель видит изображение. Полученные синтетические данные, выпущенные под названием LLaVA-Instruct-150K, содержат 158 000 примеров трёх типов: 58 000 многошаговых диалогов, 23 000 подробных описаний и 77 000 вопросов, требующих сложных рассуждений и пошагового анализа сцены.

Архитектура и обучение#

LLaVA соединяет кодировщик изображений CLIP ViT-L/14 с большой языковой моделью (LLM) Vicuna с помощью одной линейной проекции, которая преобразует признаки изображения в пространство эмбеддингов слов LLM, поэтому изображение поступает в LLM в виде последовательности визуальных токенов перед инструкцией. Обучение проходит в два этапа:

1. Согласование признаков: На 595 000 пар «изображение — подпись», отфильтрованных из набора данных CC3M, обучается только проекция, а кодировщик изображений и LLM остаются замороженными. Это позволяет LLM интерпретировать визуальные токены.
2. Визуальная настройка на инструкции: На данных для инструкций обновляются и проекция, и LLM, а кодировщик изображений остаётся замороженным. Функция потерь для следующего токена вычисляется только по ответам ассистента, но не по токенам изображения или инструкциям пользователя.

Полученная модель поддерживала диалоги об изображениях и инструкциях, которых раньше не встречала. На синтетическом бенчмарке следования мультимодальным инструкциям, оценённом GPT-4, LLaVA набрала 85,1% от собственного результата GPT-4; после дообучения на бенчмарке ScienceQA ансамбль LLaVA и GPT-4 установил новый рекорд точности — 92,53%.

LLaVA-1.5 упростила и улучшила подход: линейную проекцию заменили двухслойным MLP, разрешение входных изображений CLIP увеличили до 336 пикселей, добавили наборы данных для академических задач визуальных вопросов и ответов с короткими запросами, задающими формат ответа, а обучение завершили примерно за один день на одном узле с восемью GPU A100. Для модели с 13 миллиардами параметров использовали 1,2 миллиона общедоступных примеров. InstructBLIP от Salesforce пошла другим путём: существующие размеченные наборы данных преобразовали в формат инструкций, а признаки изображения обусловили инструкцией.

Применение#

Модели VLM, настроенные на инструкции, заменяют множество моделей для отдельных задач одной системой, которая отвечает на вопросы в свободной форме, пишет подписи к изображениям с заданной пользователем подробностью и читает текст на фотографиях, сочетая оптическое распознавание символов (OCR) с рассуждениями о смысле текста. Модели, читающие таким образом снимки экрана, лежат в основе агентов для управления компьютером. Подход применим и в специализированных областях: LLaVA-Med согласовала пары биомедицинских иллюстраций и подписей из PubMed Central, настроилась на сгенерированные GPT-4 инструкции к ним и обучилась менее чем за 15 часов на восьми GPU A100. Это один из путей к помощникам для анализа медицинских изображений, которые объясняют результаты словами.

Многие VLM, настроенные на инструкции, также возвращают координаты объектов, если их об этом попросить. Ultralytics Platform использует эту возможность в функции Smart-разметки по классам: на наборе данных для обнаружения с 1–200 классами размещённые на платформе модели с открытым исходным кодом, например Moondream 3.1, или платные визуальные модели поставщиков находят классы набора данных на изображении и возвращают редактируемые рамки для проверки.

VLM, настроенные на инструкции, наследуют и недостатки своих данных. Сгенерированные ответы могут описывать объекты, которых нет на изображении; после настройки на инструкции для сокращения таких галлюцинаций применяются методы работы с предпочтениями, например оптимизация прямых предпочтений (DPO).

Визуальная настройка на инструкции и родственные концепции#

• Настройка текстовой модели на инструкции: Дообучает текстовую LLM на парах «инструкция — ответ». Визуальная настройка на инструкции добавляет изображение к каждому примеру и обучает связь между кодировщиком зрения и LLM.
• Предварительное обучение визуально-языковых моделей: Контрастивные модели, такие как CLIP, учатся сопоставлять изображения и подписи. Это даёт VLM визуальные признаки, но не способность следовать инструкциям.
• Визуальные подсказки: Направляют модель во время инференса с помощью визуальных ориентиров, таких как точки, рамки или примеры изображений, как в сегментации с подсказками. Визуальная настройка на инструкции — это этап обучения, где подсказки формулируются на естественном языке.
• Дообучение для визуальных вопросов и ответов (VQA): Обучает модель одной задаче и одному формату ответа, например конкретному бенчмарку VQA. При визуальной настройке на инструкции в одном формате объединяются задачи разных типов, чтобы модель обобщала знания на новые запросы.