Multi-Modal Model

Мультимодальная модель — это современный тип системы искусственного интеллекта (AI), способной одновременно обрабатывать, интерпретировать и интегрировать информацию из нескольких различных типов данных, или «модальностей». В то время как традиционные одномодальные системы специализируются в одной области — например, обработке естественного языка (NLP) для работы с текстом или компьютерном зрении (CV) для работы с изображениями, — мультимодальные модели стремятся имитировать человеческое восприятие, объединяя визуальные, слуховые и языковые сигналы. Такая конвергенция позволяет модели формировать целостное понимание мира и устанавливать сложные взаимосвязи между визуальной сценой и её устным описанием. Эти возможности считаются основополагающими шагами на пути к достижению искусственного общего интеллекта (AGI).

Ключевые механизмы и архитектура#

Эффективность мультимодальной модели зависит от её способности отображать различные типы данных в общее семантическое пространство. Обычно этот процесс начинается с создания эмбеддингов — числовых представлений, которые передают основной смысл входных данных. Обучаясь на огромных наборах парных примеров, например видео с субтитрами, модель учится согласовывать векторное представление изображения «кошки» с текстовым эмбеддингом слова «кошка».

Интеграцию делают возможной несколько ключевых архитектурных концепций:

• Архитектура Transformer: Многие мультимодальные системы используют Transformer, в которых применяются механизмы внимания для динамической оценки важности различных частей входных данных. Благодаря этому модель может сосредоточиться на определённых областях изображения, соответствующих релевантным словам в текстовом запросе; эта концепция подробно описана в основополагающей исследовательской работе «Attention Is All You Need».
• Объединение данных: Так называется стратегия комбинирования информации из разных источников. Объединение данных с датчиков может выполняться на раннем этапе — за счёт слияния необработанных данных — или на позднем этапе — за счёт объединения решений отдельных субмоделей. Современные фреймворки, такие как PyTorch, обеспечивают необходимую гибкость для построения таких сложных конвейеров.
• Контрастивное обучение: Методы, используемые такими моделями, как CLIP от OpenAI, обучают систему уменьшать расстояние между соответствующими парами текста и изображения в векторном пространстве и одновременно увеличивать расстояние между несоответствующими парами.

Практические применения#

Мультимодальные модели открыли возможности, которые раньше были недоступны одномодальным системам.

• Визуальные ответы на вопросы (VQA): Такие системы позволяют пользователям задавать вопросы на естественном языке об изображении. Например, пользователь с нарушением зрения может загрузить фотографию кладовой и спросить: «Есть ли банка супа на верхней полке?» Модель использует обнаружение объектов для идентификации предметов, а NLP — для понимания запроса и формирования полезного ответа.
• Автономные транспортные средства: Беспилотные автомобили работают как мультимодальные агенты в реальном времени. Они объединяют визуальные данные с камер, информацию о глубине от LiDAR и данные о скорости от радара. Такая избыточность гарантирует, что если один датчик окажется закрыт из-за погодных условий, другие смогут поддерживать безопасность дорожного движения.
• Обнаружение объектов с открытым словарём: Такие модели, как Ultralytics YOLO-World, позволяют пользователям обнаруживать объекты с помощью произвольных текстовых запросов, а не фиксированного списка классов. Это устраняет разрыв между языковыми командами и визуальным распознаванием.

Пример: обнаружение объектов с открытым словарём#

В следующем примере показано, как использовать библиотеку ultralytics для обнаружения объектов с открытым словарём, при котором модель интерпретирует текстовые запросы, чтобы идентифицировать объекты на изображении:

from ultralytics import YOLOWorld

# Load a pre-trained YOLO-World model capable of vision-language understanding
model = YOLOWorld("yolov8s-world.pt")

# Define custom classes using natural language text prompts
model.set_classes(["person wearing a hat", "blue backpack"])

# Run inference: The model aligns text prompts with visual features
results = model.predict("https://ultralytics.com/images/bus.jpg")

# Visualize the detection results
results[0].show()

Отличия от связанных терминов#

Полезно отличать «мультимодальную модель» от связанных понятий в глоссарии AI:

• Мультимодальное обучение: Так называются процесс и методы машинного обучения (ML), используемые для обучения таких систем. Мультимодальная модель — это результат или программный продукт этого процесса обучения.
• Большие языковые модели (LLMs): Традиционные LLMs обрабатывают только текст. Хотя многие из них развиваются в направлении визуально-языковых моделей (VLMs), стандартная LLM является одномодальной.
• Базовые модели: Это более широкая категория, включающая крупномасштабные модели, адаптируемые для множества последующих задач. Хотя мультимодальная модель часто является базовой, не все базовые модели работают с несколькими модальностями.

Будущее мультимодального AI#

Эта область стремительно движется к созданию систем, способных в реальном времени обрабатывать непрерывные потоки аудио, видео и текста. Исследования таких организаций, как Google DeepMind, продолжают расширять границы машинного восприятия. В Ultralytics мы поддерживаем эту экосистему с помощью высокопроизводительных визуальных бэкбонов, таких как YOLO26. Выпущенный в 2026 году, YOLO26 обеспечивает превосходные скорость и точность в таких задачах, как сегментация экземпляров, выступая эффективным визуальным компонентом более крупных мультимодальных конвейеров. Разработчики могут управлять данными, обучением и развёртыванием этих сложных рабочих процессов с помощью единой Ultralytics Platform.