Multimodal AI

Мультимодальный ИИ — это системы искусственного интеллекта (AI), которые принимают, объединяют или создают данные более чем одного типа, то есть модальности: текст, изображения, видео, аудио и показания датчиков, например lidar и radar. Мультимодальный ассистент может рассмотреть фотографию сигнальной лампы на приборной панели, прочитать текстовый вопрос о ней и ответить текстом или голосом, а беспилотный автомобиль объединяет данные камер, lidar и radar в единую картину дороги. Этот термин обозначает такие системы и продукты, созданные с помощью мультимодального обучения — методов обучения, например контрастивного выравнивания и слияния данных, которые учат модель взаимосвязи между модальностями.

Как устроены мультимодальные системы#

Сначала каждая модальность проходит через подходящий для неё кодировщик, например визуальный трансформер (ViT) для изображений или кодировщик спектрограмм для аудио, который преобразует исходные данные в эмбеддинги. Затем этап слияния объединяет их, а декодер или выходной слой задачи формирует результат. Большинство современных ассистентов направляют все данные в большую языковую модель (LLM): LLaVA (2023) связала кодировщик изображений CLIP с языковой моделью Vicuna посредством обучаемой проекции, которая преобразует признаки изображения в векторы, похожие на токены; Flamingo от DeepMind (2022) добавила новые слои перекрёстного внимания в замороженную языковую модель, чтобы её текстовые токены могли учитывать признаки изображения.

Нативно мультимодальные модели с самого начала обучаются на смешанных данных, а не получают кодировщики, добавленные к готовой языковой модели. В декабре 2023 года Google представила Gemini как нативно мультимодальную модель, а GPT-4o от OpenAI (май 2024 года) принимает любые сочетания текста, аудио, изображений и видео и отвечает на голосовые запросы в среднем за 320 миллисекунд.

Более ранние однопоточные модели, такие как ViLT (2021), подавали фрагменты изображения и токены вопроса в один трансформер и выбирали каждый ответ из фиксированного словаря из 3 129 вариантов. ViLT достаточно компактна, чтобы отвечать на вопросы об изображении на CPU:

import requests
import torch
from PIL import Image
from transformers import ViltForQuestionAnswering, ViltProcessor

# ViLT embeds image patches and question tokens into one transformer input sequence
processor = ViltProcessor.from_pretrained("dandelin/vilt-b32-finetuned-vqa")
model = ViltForQuestionAnswering.from_pretrained("dandelin/vilt-b32-finetuned-vqa")
image = Image.open(requests.get("https://ultralytics.com/images/bus.jpg", stream=True).raw)

for question in ["What color is the bus?", "How many people are there?", "Is it raining?"]:
    inputs = processor(image, question, return_tensors="pt")
    with torch.no_grad():
        logits = model(**inputs).logits

    # Pick the most likely answer from the model's fixed answer vocabulary
    print(f"{question} -> {model.config.id2label[logits.argmax(-1).item()]}")

ViLT правильно отвечает «синий и белый» и «нет», а также насчитывает 3 человек, хотя хотя бы частично видны четверо: двое мужчин, идущих в полный рост, и два человека, обрезанные у левого и правого краёв. Подсчёт небольших или частично видимых объектов — распространённая ошибка моделей «зрение — язык».

Применение#

• Визуальные вопросы и ответы (VQA): В 2023 году Be My Eyes добавила Be My AI — функцию на основе GPT-4 от OpenAI, которая описывает фотографии и отвечает на уточняющие вопросы слепых пользователей и пользователей со слабым зрением.
• Автономные транспортные средства: Роботакси, например автомобили Waymo, объединяют камеры, lidar и radar; каждый из этих датчиков помогает в условиях, с которыми другим трудно справиться, например при бликах, в темноте или тумане.
• Здравоохранение: Клинические модели анализируют снимки вместе с записями и историей болезни пациента — контекстом, который радиолог учитывает при чтении снимка.
• Генерация текста в изображение: Такие модели, как Stable Diffusion, преобразуют текстовое описание в изображение, а модели преобразования текста в видео расширяют эту возможность на движение.
• Мультимодальный RAG: Извлекает изображения, таблицы и фрагменты текста, на основе которых LLM формирует ответ.

Разметка наборов данных тоже стала мультимодальной задачей. Для набора данных обнаружения объектов функция умной разметки по названиям классов в Ultralytics Platform отправляет названия классов текстом размещенным моделям, например Florence-2 от Microsoft, Grounding DINO от IDEA Research и SAM 3.1 от Meta. Они возвращают редактируемые боксы для обучения детектора YOLO26. Таблица лидеров VLM сравнивает точность разметки реальных наборов данных для обнаружения объектов у этих моделей и генеративных VLM.

Мультимодальный ИИ и связанные термины#

• Мультимодальное обучение: Методы обучения на нескольких модальностях, например контрастивное выравнивание и раннее, позднее или основанное на перекрёстном внимании слияние данных. Мультимодальный ИИ — это созданные с их помощью системы и приложения.
• Мультимодальная модель: Единая обученная модель, работающая с несколькими модальностями; это основной компонент большинства систем мультимодального ИИ.
• Мультимодальная языковая модель (VLM): Самый распространённый тип мультимодальной модели, работающий только с изображениями или видео и текстом.
• Слияние данных датчиков: Объединяет измерения одной и той же сцены, полученные несколькими датчиками, часто с помощью фильтра Калмана. Этот подход в робототехнике и автомобилях появился задолго до обучаемых мультимодальных моделей.