Multimodal AI

Мультимодальный ИИ относится к сложному классу систем искусственного интеллекта (ИИ), предназначенных для одновременной обработки, интерпретации и синтеза информации из нескольких различных типов данных, или «модальностей». В отличие от традиционных унимодальных систем, специализирующихся на одном источнике входных данных — таких как обработка естественного языка (NLP) для текста или компьютерное зрение (CV) для изображений — мультимодальный ИИ имитирует восприятие человека, интегрируя разнообразные потоки данных. Эта интеграция может включать в себя объединение визуальных данных (изображений, видео) с лингвистическими данными (текстом, разговорной речью) и сенсорной информацией (LiDAR, радар, тепловизионные данные). Используя эти объединенные входные данные, эти модели достигают более глубокого, контекстно-зависимого понимания сложных сценариев реального мира, приближаясь к широким возможностям общего искусственного интеллекта (AGI).

Как работают мультимодальные системы#

Основная сила мультимодального ИИ заключается в способности отображать различные типы данных в общее математическое пространство, где их можно сравнивать и объединять. Этот процесс обычно включает три ключевых этапа: кодирование, выравнивание и слияние.

1. Извлечение признаков: Специализированные нейронные сети обрабатывают каждую модальность независимо для выявления ключевых паттернов. Например, сверточная нейронная сеть (CNN) может извлекать визуальные признаки из фотографии, в то время как Transformer обрабатывает сопровождающую подпись.

2. Выравнивание и эмбеддинги: Извлеченные признаки преобразуются в многомерные числовые векторы. Модель учится выравнивать эти векторы так, чтобы семантически похожие понятия (например, изображение кошки и текстовое слово «кошка») располагались близко друг к другу в векторном пространстве. Это часто достигается с помощью таких методов, как контрастное обучение, метод, который широко используется в таких моделях, как OpenAI's CLIP.

3. Слияние данных: Система объединяет выровненные данные с использованием продвинутых методов слияния. Современные архитектуры используют механизмы внимания для динамической оценки важности одной модальности по сравнению с другой в зависимости от контекста, позволяя модели фокусироваться на тексте, когда изображение неоднозначно, или наоборот.

Реальные приложения#

Мультимодальный ИИ открыл возможности, которые ранее были невозможны для систем с одной модальностью, стимулируя инновации в различных отраслях.

• Визуальные ответы на вопросы (VQA): В этом приложении пользователь может предоставить изображение ИИ и задать по нему вопросы на естественном языке. Например, пользователь с нарушениями зрения может загрузить фото кладовой и спросить: «У меня осталась паста?». Модель обрабатывает визуальный контент и текстовый запрос, чтобы выдать конкретный ответ.
• Автономные транспортные средства: Беспилотные автомобили во многом полагаются на мультимодальные входные данные, объединяя данные с камер, облаков точек LiDAR и радаров для безопасной навигации. Эта избыточность гарантирует, что если один датчик выходит из строя (например, камера ослеплена солнечным бликом), остальные могут поддерживать стандарты безопасности, определенные Обществом автомобильных инженеров (SAE).
• Диагностика в здравоохранении: Передовые медицинские системы ИИ анализируют анализ медицинских изображений (таких как МРТ или рентген) наряду с неструктурированной текстовой историей болезни пациента и генетическими данными. Этот комплексный обзор помогает врачам ставить более точные диагнозы — тема, которая часто обсуждается в Nature Digital Medicine.
• Генеративный ИИ: Инструменты для создания изображений по текстовым запросам, такие как Stable Diffusion, полностью зависят от способности модели понимать взаимосвязь между языковыми описаниями и визуальными текстурами.

Детекция с открытым словарем с помощью Ultralytics#

В то время как стандартные детекторы объектов полагаются на предопределенные списки категорий, мультимодальные подходы вроде YOLO-World позволяют пользователям обнаруживать объекты с помощью текстовых подсказок с открытым словарем. Это преодолевает разрыв между лингвистическими командами и визуальным распознаванием в экосистеме Ultralytics.

Следующий пример демонстрирует, как использовать библиотеку ultralytics для выполнения детектирования с открытым словарем, где модель обнаруживает объекты на основе пользовательских текстовых вводов:

from ultralytics import YOLOWorld

# Load a pretrained YOLO-World model (Multimodal: Text + Vision)
model = YOLOWorld("yolov8s-world.pt")

# Define custom text prompts (modalities) for the model to identify
model.set_classes(["person wearing a red hat", "blue backpack"])

# Run inference: The model aligns the text prompts with visual features
results = model.predict("https://ultralytics.com/images/bus.jpg")

# Show the results
results[0].show()

Разграничение связанных терминов#

Чтобы ориентироваться в ландшафте современного машинного обучения, полезно отличать «Мультимодальный ИИ» от смежных концепций:

• Мультимодальное обучение: Это относится к академической дисциплине и методологии обучения алгоритмов на смешанных типах данных. «Мультимодальный ИИ» обычно относится к практическому приложению или результирующей системе как таковой.
• Большие языковые модели (LLM): Традиционные LLM являются унимодальными и обучаются исключительно на текстовых данных. Тем не менее, индустрия смещается в сторону «больших мультимодальных моделей» (LMM), которые могут нативно обрабатывать изображения и текст, тенденция, поддерживаемая такими фреймворками, как PyTorch и TensorFlow.
• Специализированные модели зрения: Такие модели, как современная Ultralytics YOLO26, являются высокоспециализированными экспертами в визуальных задачах. В то время как общая мультимодальная модель может описывать сцену в общих чертах, специализированные модели преуспевают в высокоскоростном, точном обнаружении объектов и обработке в реальном времени на периферийном оборудовании.

Взгляд в будущее#

Траектория развития мультимодального ИИ указывает на системы, обладающие большими возможностями рассуждения. Успешно привязывая язык к визуальной и физической реальности, эти модели выходят за рамки статистической корреляции к подлинному пониманию. Исследования из таких институтов, как Google DeepMind и Стэнфордский центр исследований базовых моделей, продолжают раздвигать границы того, как машины воспринимают сложные среды.

В Ultralytics мы интегрируем эти достижения в Ultralytics Platform, позволяя пользователям управлять данными, обучать модели и развертывать решения, которые используют весь спектр доступных модальностей, объединяя скорость YOLO26 с универсальностью мультимодальных входов.