Мультимодальное обучение

Мультимодальное обучение — это сложный подход в искусственном интеллекте (ИИ), который обучает алгоритмы обрабатывать, понимать и соотносить информацию из нескольких различных типов данных, или «модальностей». В отличие от традиционных систем, специализирующихся на одном типе входных данных, таких как текст для перевода или пиксели для распознавания изображений, мультимодальное обучение имитирует человеческое познание, интегрируя различные сенсорные входные данные, такие как визуальные данные, речевые аудиозаписи, текстовые описания и показания датчиков. Этот целостный подход позволяет моделям машинного обучения (МО) развивать более глубокое, контекстно-зависимое понимание мира, что приводит к более надежным и универсальным прогнозам.

Как работает мультимодальное обучение

Основная задача в мультимодальном обучении заключается в преобразовании различных типов данных в общее математическое пространство, где их можно сравнивать и комбинировать. Этот процесс обычно включает в себя три основных этапа: кодирование, выравнивание и слияние.

1. Извлечение признаков: Специализированные нейронные сети обрабатывают каждую модальность независимо. Например, сверточные нейронные сети (CNN) или Vision Transformers (ViT) могут извлекать признаки из изображений, в то время как рекуррентные нейронные сети (RNN) или Transformers обрабатывают текст.
2. Выравнивание вложений: модель учится сопоставлять эти разнообразные особенности в общие высокоразмерные векторы. В этом общем пространстве вектор для слова «кошка» и вектор для изображения кошки сближаются. Здесь важны такие методы, как контрастивное обучение, популяризованное в таких статьях, как CLIP от OpenAI.
3. Слияние данных: Наконец, информация объединяется для выполнения задачи. Слияние может происходить на раннем этапе (объединение необработанных данных), на позднем этапе (объединение окончательных прогнозов) или с помощью промежуточных гибридных методов, использующих механизм внимания для динамической оценки важности каждой модальности.

Применение в реальном мире

Мультимодальное обучение является движущей силой многих из самых впечатляющих прорывов в области ИИ на сегодняшний день, устраняя разрыв между различными хранилищами данных для решения сложных задач.

• Визуальный ответ на вопрос (VQA): В этом приложении система должна проанализировать изображение и ответить на вопрос о нем на естественном языке, например: «Какого цвета светофор?». Для этого модель должна понимать семантику текста и пространственно локализовать соответствующие визуальные элементы с помощью компьютерного зрения.
• Автономные транспортные средства: Автомобили с автономным управлением в значительной степени полагаются на объединение данных с датчиков, комбинируя данные с точечных облаков LiDAR, видео с камер и радара для безопасного передвижения. Такой мультимодальный ввод данных гарантирует, что в случае выхода из строя одного датчика (например, камеры, ослепленной солнечным блеском), другие датчики могут обеспечить безопасность на дороге.
• Диагностика в здравоохранении: ИИ в здравоохранении использует мультимодальное обучение, анализируя медицинские изображения (такие как МРТ или рентген) наряду с неструктурированными текстовыми данными из истории болезни пациента и генетическими данными. Такой комплексный подход помогает врачам ставить более точные диагнозы, что часто обсуждается в журналах Nature Digital Medicine.
• Генеративный ИИ: инструменты, которые создают изображения на основе текстовых подсказок, такие как Stable Diffusion, полностью полагаются на способность модели понимать взаимосвязь между лингвистическими описаниями и визуальными текстурами.

Мультимодальное обнаружение объектов с помощью Ultralytics

В то время как стандартные детекторы объектов полагаются на заранее определенные классы, мультимодальные подходы, такие как YOLO, позволяют пользователям detect с помощью текстовых подсказок с открытым словарем. Это демонстрирует возможности связи текстовых концепций с визуальными характеристиками в рамках Ultralytics .

Следующий фрагмент Python показывает, как использовать предварительно обученную модель YOLO для detect на основе пользовательских текстовых вводов.

from ultralytics import YOLOWorld

# Load a pretrained YOLO-World model (Multi-Modal: Text + Vision)
model = YOLOWorld("yolov8s-world.pt")

# Define custom text prompts (modalities) for the model to identify
model.set_classes(["person", "bus", "traffic light"])

# Run inference: The model aligns the text prompts with visual features
results = model.predict("https://ultralytics.com/images/bus.jpg")

# Show the results
results[0].show()

Дифференциация ключевых терминов

Чтобы ориентироваться в ландшафте современного ИИ, полезно отличать "мультимодальное обучение" от смежных понятий:

• Мультимодальная модель: «Мультимодальное обучение» относится к методологии и области исследования. «Мультимодальная модель» (такая как GPT-4 или Gemini Google) — это конкретный артефакт или программный продукт, полученный в результате этого процесса обучения.
• Унимодальный ИИ: традиционное компьютерное зрение, как правило, является унимодальным и фокусируется исключительно на визуальных данных. Хотя такая модель, как Ultralytics , является передовым инструментом компьютерного зрения для обнаружения объектов, она обычно работает только с визуальными входными данными, если не является частью более крупного мультимодального конвейера.
• Большие языковые модели (БЯМ): Традиционные LLM являются унимодальными и обучаются только на тексте. Однако индустрия переходит к "большим мультимодальным модели" (LMM), которые могут обрабатывать изображения и текст, и эта тенденция поддерживается такими платформами, как PyTorch и TensorFlow.

Перспективы на будущее

Траектория развития мультимодального обучения указывает на системы, обладающие искусственный интеллект (AGI) характеристиками. Благодаря успешному обоснованию языка в визуальной и физической реальности эти модели выходят за рамки статистической корреляции и переходят к подлинному мышлению. Исследования таких институтов, как MIT CSAIL и Стэнфордский центр исследований базовых моделей, продолжают расширять границы восприятия и взаимодействия машин со сложной мультисенсорной средой.

В Ultralytics мы интегрируем эти достижения в нашу Ultralytics , позволяя пользователям управлять данными, обучать модели и развертывать решения, которые используют весь спектр доступных возможностей, от скорости YOLO26 до универсальности обнаружения с открытым словарем.