Multi-Modal Learning

Мультимодальное обучение — это сложный подход в области искусственного интеллекта (AI), при котором алгоритмы обучаются обрабатывать, понимать и сопоставлять информацию из нескольких различных типов данных, или «модальностей». В отличие от традиционных систем, специализирующихся на одном типе входных данных — например, на тексте для перевода или пикселях для распознавания изображений, — мультимодальное обучение имитирует человеческое восприятие, объединяя разнообразные сенсорные входные данные, такие как визуальная информация, устная речь, текстовые описания и показания датчиков. Такой целостный подход позволяет моделям машинного обучения (ML) формировать более глубокое, учитывающее контекст понимание мира, что приводит к созданию более надежных и универсальных прогнозов.

Как работает мультимодальное обучение#

Основная сложность мультимодального обучения заключается в преобразовании разных типов данных в общее математическое пространство, где их можно сравнивать и объединять. Обычно этот процесс включает три основных этапа: кодирование, выравнивание и слияние.

1. Извлечение признаков: специализированные нейронные сети независимо обрабатывают каждую модальность. Например, сверточные нейронные сети (CNNs) или зрительные Transformer (ViTs) могут извлекать признаки из изображений, тогда как рекуррентные нейронные сети (RNNs) или Transformer обрабатывают текст.

2. Выравнивание эмбеддингов: модель учится отображать эти разнообразные признаки в общие многомерные векторы. В этом общем пространстве вектор слова «кошка» и вектор изображения кошки сближаются. Здесь важны такие методы, как контрастивное обучение, популяризированное, в частности, такими работами, как CLIP от OpenAI.

3. Слияние данных: на последнем этапе информация объединяется для выполнения задачи. Слияние может происходить на раннем этапе (объединение необработанных данных), на позднем этапе (объединение итоговых прогнозов) или с помощью промежуточных гибридных методов, использующих механизм внимания для динамической оценки важности каждой модальности.

Практические применения#

Мультимодальное обучение лежит в основе многих наиболее впечатляющих достижений AI последних лет, устраняя разрыв между разрозненными хранилищами данных для решения сложных задач.

• Визуальные ответы на вопросы (VQA): в этом сценарии система должна проанализировать изображение и ответить на заданный на естественном языке вопрос о нем, например: «Какого цвета светофор?». Для этого модели необходимо понять смысл текста и определить соответствующие визуальные элементы на изображении с помощью компьютерного зрения.
• Автономные транспортные средства: беспилотные автомобили активно используют слияние данных с датчиков, объединяя облака точек LiDAR, видеопотоки с камер и данные радаров для безопасной навигации. Такой мультимодальный ввод гарантирует, что при отказе одного датчика (например, если солнечные блики ослепили камеру) другие смогут поддерживать безопасность дорожного движения.
• Медицинская диагностика: AI в здравоохранении использует мультимодальное обучение, анализируя медицинские изображения (например, результаты MRI или рентгеновские снимки) вместе с неструктурированными текстовыми данными об истории болезни пациента и генетической информацией. Такой комплексный подход помогает врачам ставить более точные диагнозы; эта тема часто обсуждается в журналах Nature Digital Medicine.
• Генеративный AI: инструменты, создающие изображения по текстовым запросам, такие как Stable Diffusion, полностью зависят от способности модели понимать взаимосвязь между языковыми описаниями и визуальными текстурами.

Мультимодальное обнаружение объектов с Ultralytics#

В то время как стандартные детекторы объектов используют заранее определенные классы, мультимодальные подходы, такие как YOLO-World, позволяют пользователям обнаруживать объекты с помощью текстовых запросов с открытым словарем. Это демонстрирует возможности связывания текстовых понятий с визуальными признаками в экосистеме Ultralytics.

Следующий фрагмент кода на Python показывает, как использовать предварительно обученную модель YOLO-World для обнаружения объектов на основе пользовательских текстовых входных данных.

from ultralytics import YOLOWorld

# Load a pretrained YOLO-World model (Multi-Modal: Text + Vision)
model = YOLOWorld("yolov8s-world.pt")

# Define custom text prompts (modalities) for the model to identify
model.set_classes(["person", "bus", "traffic light"])

# Run inference: The model aligns the text prompts with visual features
results = model.predict("https://ultralytics.com/images/bus.jpg")

# Show the results
results[0].show()

Различия между ключевыми терминами#

Чтобы ориентироваться в современном AI, полезно отличать «мультимодальное обучение» от связанных с ним понятий:

• Мультимодальная модель: «мультимодальное обучение» обозначает методологию и область исследований. «Мультимодальная модель» (например, GPT-4 или Gemini от Google) — это конкретный артефакт или программный продукт, созданный в результате этого процесса обучения.
• Унимодальный AI: традиционное компьютерное зрение обычно является унимодальным и работает исключительно с визуальными данными. Хотя такая модель, как Ultralytics YOLO26, представляет собой современный инструмент CV для обнаружения объектов, обычно она работает только с визуальными входными данными, если не является частью более крупного мультимодального конвейера.
• Большие языковые модели (LLMs): традиционные LLMs являются унимодальными и обучаются только на текстовых данных. Однако отрасль движется в сторону «больших мультимодальных моделей» (LMMs), способных изначально обрабатывать изображения и текст; эту тенденцию поддерживают такие фреймворки, как PyTorch и TensorFlow.

Перспективы на будущее#

Развитие мультимодального обучения ведет к созданию систем, обладающих характеристиками искусственного общего интеллекта (AGI). Успешно связывая язык с визуальной и физической реальностью, эти модели выходят за рамки статистической корреляции и приближаются к настоящему рассуждению. Исследования таких организаций, как MIT CSAIL и Стэнфордский центр исследований фундаментальных моделей, продолжают расширять границы возможностей машин по восприятию сложной мультисенсорной среды и взаимодействию с ней.

В Ultralytics мы интегрируем эти достижения в нашу Ultralytics Platform, позволяя пользователям управлять данными, обучать модели и развертывать решения, использующие весь спектр доступных модальностей — от скорости YOLO26 до универсальности обнаружения объектов с открытым словарем.