Multimodal AI

Мультимодальный AI — это сложный класс систем искусственного интеллекта (AI), предназначенных для одновременной обработки, интерпретации и синтеза информации из нескольких различных типов данных, или «модальностей». В отличие от традиционных одномодальных систем, специализирующихся на одном источнике входных данных — например, на обработке естественного языка (NLP) для текста или компьютерном зрении (CV) для изображений, — мультимодальный AI имитирует человеческое восприятие, объединяя разнообразные потоки данных. Такое объединение может включать визуальные данные (изображения, видео), лингвистические данные (текст, устная речь) и сенсорную информацию (LiDAR, радар, тепловые данные). Используя эти объединённые входные данные, такие модели глубже и с большим учётом контекста понимают сложные сценарии реального мира, приближаясь к широким возможностям общего искусственного интеллекта (AGI).

Как работают мультимодальные системы#

Главное преимущество мультимодального AI заключается в его способности отображать разные типы данных в общее математическое пространство, где их можно сравнивать и объединять. Обычно этот процесс включает три ключевых этапа: кодирование, выравнивание и слияние.

1. Извлечение признаков: Специализированные нейронные сети независимо обрабатывают каждую модальность, чтобы выявить ключевые закономерности. Например, свёрточная нейронная сеть (CNN) может извлекать визуальные признаки из фотографии, а Transformer — обрабатывать подпись к ней.

2. Выравнивание и эмбеддинги: Извлечённые признаки преобразуются в многомерные числовые векторы. Модель учится выравнивать эти векторы так, чтобы семантически схожие понятия (например, изображение кошки и текстовое слово «кошка») находились близко друг к другу в векторном пространстве. Часто это достигается с помощью таких методов, как контрастивное обучение, которое широко применяется в моделях наподобие CLIP от OpenAI.

3. Слияние данных: Система объединяет выровненные данные с помощью передовых методов слияния. В современных архитектурах используются механизмы внимания, чтобы динамически определять важность одной модальности по сравнению с другой в зависимости от контекста. Это позволяет модели сосредоточиться на тексте, если изображение неоднозначно, и наоборот.

Практические применения#

Мультимодальный AI открыл возможности, которые ранее были недоступны одномодальным системам, стимулируя инновации в различных отраслях.

• Ответы на вопросы по изображению (VQA): В этом случае пользователь может показать AI изображение и задать о нём вопросы на естественном языке. Например, пользователь с нарушением зрения может загрузить фотографию кладовой и спросить: «У меня ещё осталась паста?» Модель обрабатывает визуальное содержимое и текстовый запрос, чтобы дать конкретный ответ.
• Автономные транспортные средства: Беспилотные автомобили активно используют мультимодальные входные данные, объединяя информацию с камер, облаков точек LiDAR и радара для безопасной навигации. Такая избыточность гарантирует, что при отказе одного датчика (например, если солнечный блик ослепил камеру) другие смогут поддерживать стандарты безопасности, определённые Обществом автомобильных инженеров (SAE).
• Медицинская диагностика: Современные медицинские AI-системы анализируют медицинские изображения (например, результаты MRI или рентгеновские снимки) вместе с неструктурированными текстовыми медицинскими историями пациентов и генетическими данными. Такой комплексный подход помогает врачам ставить более точные диагнозы — эта тема часто обсуждается в Nature Digital Medicine.
• Генеративный AI: инструменты, создающие изображения по текстовым запросам, такие как Stable Diffusion, полностью зависят от способности модели понимать взаимосвязь между языковыми описаниями и визуальными текстурами.

Обнаружение по открытому словарю с Ultralytics#

В то время как стандартные детекторы объектов используют заранее заданные списки категорий, мультимодальные подходы, такие как YOLO-World, позволяют пользователям обнаруживать объекты с помощью текстовых запросов со свободным словарём. Это устраняет разрыв между лингвистическими командами и визуальным распознаванием в экосистеме Ultralytics.

В следующем примере показано, как использовать библиотеку ultralytics для обнаружения по открытому словарю, при котором модель обнаруживает объекты на основе пользовательских текстовых входных данных:

from ultralytics import YOLOWorld

# Load a pretrained YOLO-World model (Multimodal: Text + Vision)
model = YOLOWorld("yolov8s-world.pt")

# Define custom text prompts (modalities) for the model to identify
model.set_classes(["person wearing a red hat", "blue backpack"])

# Run inference: The model aligns the text prompts with visual features
results = model.predict("https://ultralytics.com/images/bus.jpg")

# Show the results
results[0].show()

Различия между связанными терминами#

Чтобы ориентироваться в мире современного машинного обучения, полезно отличать «мультимодальный AI» от связанных с ним понятий:

• Мультимодальное обучение: Это академическая дисциплина и методология обучения алгоритмов на смешанных типах данных. «Мультимодальный AI» обычно означает практическое применение или саму получившуюся систему.
• Большие языковые модели (LLMs): Традиционные LLMs являются одномодальными и обучаются исключительно на текстовых данных. Однако отрасль переходит к «большим мультимодальным моделям» (LMMs), которые изначально умеют обрабатывать изображения и текст; эту тенденцию поддерживают такие фреймворки, как PyTorch и TensorFlow.
• Специализированные модели компьютерного зрения: Такие модели, как передовая Ultralytics YOLO26, — узкоспециализированные эксперты в задачах компьютерного зрения. В то время как общая мультимодальная модель может дать общее описание сцены, специализированные модели превосходно справляются с быстрым и точным обнаружением объектов и обработкой в реальном времени на периферийном оборудовании.

Перспективы на будущее#

Развитие мультимодального AI указывает на появление систем с более широкими возможностями рассуждения. Успешно связывая язык с визуальной и физической реальностью, эти модели выходят за пределы статистической корреляции и приближаются к настоящему пониманию. Исследования, проводимые такими организациями, как Google DeepMind и Стэнфордский центр исследований фундаментальных моделей, продолжают расширять границы восприятия машинами сложных сред.

В Ultralytics мы интегрируем эти достижения в Ultralytics Platform, позволяя пользователям управлять данными, обучать модели и развёртывать решения, использующие весь спектр доступных модальностей, объединяя скорость YOLO26 с универсальностью мультимодальных входных данных.