Visual Instruction Tuning

Визуальная настройка инструкций — это трансформативная технология машинного обучения, которая расширяет традиционные методы обработки естественного языка до мультимодальной области. Обучая Vision Language Model (VLM) следовать явным указаниям человека на основе изображений или видео, ты можешь создавать ИИ-ассистентов, которые понимают визуальный контент и рассуждают о нем. В отличие от стандартных моделей классификации изображений, которые выдают предопределенную категорию, визуальная настройка инструкций позволяет моделям выполнять сложные, открытые задачи — например, описывать сцену, читать текст на изображении или отвечать на конкретные вопросы о пространственных отношениях. Это устраняет разрыв между текстовыми large language models (LLMs) и традиционными конвейерами компьютерного зрения.

Link to this sectionПонимание концепции и различий#

Чтобы понять, что такое визуальная настройка инструкций, полезно отличать ее от тесно связанных концепций в экосистеме ИИ:

• Instruction Tuning: обычно относится к настройке чисто текстовых LLM для безопасного и точного следования намерениям человека. Визуальная настройка инструкций применяет ту же методологию, но включает изображения в промпт и ожидаемый результат.
• Visual Prompting: обычно предполагает взаимодействие с ИИ с использованием визуальных подсказок — например, рисование ограничивающей рамки (bbox), размещение точки или маскирование области на изображении — для управления фокусом модели. Напротив, визуальная настройка инструкций в значительной степени опирается на команды на естественном языке в сочетании с визуальными данными.

Процесс обучения обычно включает fine-tuning предварительно обученной мультимодальной фундаментальной модели с использованием обширных наборов данных, отформатированных как триплеты изображение-текст-инструкция. Пионерское исследование на arXiv по визуальной настройке инструкций, например проект LLaVA (Large Language-and-Vision Assistant), показало, что такие модели могут достигать замечательных способностей zero-shot. Сегодня крупные ИИ-организации используют этот метод для работы продвинутых моделей, включая OpenAI GPT-4o, Anthropic Claude 3.5 Sonnet и Google DeepMind Gemini.

Link to this sectionРеальные приложения#

Согласовывая архитектуры мультимодального глубокого обучения с намерениями человека, визуальная настройка инструкций открывает возможности для высокоинтерактивных приложений в различных отраслях:

• ИИ в медицинской диагностике: Медицинские работники могут использовать модели с инструктивной настройкой для визуальных ответов на вопросы (VQA). Рентгенолог может отправить системе рентгеновский снимок с инструкцией «Выдели и объясни любые признаки пневмонии в нижней левой доле», позволяя ИИ выступить в роли помощника при диагностике.
• ИИ в контроле качества на производстве: Вместо обучения узкоспециализированной модели обнаружения дефектов с нуля, операторы могут давать указания системе компьютерного зрения, такой как Microsoft Florence-2, например: «Найди любые микроскопические царапины или вмятины на этом недавно изготовленном металлическом корпусе».

Link to this sectionСоздание рабочих процессов компьютерного зрения#

Для создания систем, использующих эти возможности, разработчики часто полагаются на надежные модели обнаружения объектов для извлечения структурного контекста из изображений перед передачей этих данных в VLM. Используя документацию по мультимодальным моделям PyTorch или модели зрения TensorFlow, ты можешь создавать гибридные конвейеры.

Например, ты можешь использовать модель Ultralytics YOLO для быстрого восприятия сцены и создания обоснованного языкового промпта для последующей VLM:

from ultralytics import YOLO

# Load an Ultralytics YOLO26 model to extract visual context
model = YOLO("yolo26n.pt")

# Perform inference to identify objects for a downstream VLM prompt
results = model("https://ultralytics.com/images/bus.jpg")

# Extract object names to dynamically build an instruction prompt
objects = [model.names[int(cls)] for cls in results[0].boxes.cls]
prompt = f"Please provide a detailed safety analysis of the scene containing these objects: {', '.join(objects)}"

print(prompt)
# Output: Please provide a detailed safety analysis of the scene containing these objects: bus, person, person...

Управление сложными мультимодальными наборами данных, необходимыми для этих приложений нового поколения, может быть непростой задачей. Платформа Ultralytics упрощает этот процесс, предоставляя комплексные инструменты для аннотирования данных, облачного обучения и беспрепятственного развертывания моделей. Независимо от того, читаешь ли ты передовые статьи в цифровой библиотеке ACM или архивах компьютерного зрения IEEE Xplore, переход к настроенным по инструкциям, высокопроизводительным системам технического зрения представляет собой передний край искусственного интеллекта. Объединяя восприятие YOLO26 с настроенными моделями рассуждения, организации могут развертывать невероятно надежных ИИ-агентов.