Multi-Modal Model

Model đa phương thức, còn được viết là multimodal model, là một model học máy (ML) duy nhất tiếp nhận và đôi khi tạo ra nhiều hơn một loại dữ liệu, hay phương thức: hình ảnh, văn bản, âm thanh, video, bản đồ độ sâu hoặc số đo cảm biến. Vì xử lý các phương thức cùng nhau, model có thể dùng mỗi phương thức làm ngữ cảnh cho những phương thức còn lại, chẳng hạn trả lời câu hỏi nói về một bức ảnh, tìm các khung hình video được mô tả trong câu hoặc phát hiện người đi bộ đồng thời từ dữ liệu camera và radar. Một pipeline kết nối các model đơn phương thức riêng biệt, chẳng hạn bộ nhận dạng giọng nói đưa kết quả cho chatbot chỉ xử lý văn bản, chỉ truyền thông tin giữa các phương thức thông qua đầu ra cuối cùng của từng model; trong khi đó, model đa phương thức học được mối liên hệ giữa các phương thức.

Cách model đa phương thức hoạt động#

Mỗi phương thức trước tiên đi qua một encoder phù hợp, chẳng hạn Vision Transformer (ViT) cho hình ảnh hoặc tokenizer và layer embedding cho văn bản để chuyển văn bản thành vector. Sau đó, model kết hợp các vector này và dự đoán văn bản, nhãn, bounding box hoặc hành động từ biểu diễn tổng hợp. Vị trí diễn ra quá trình kết hợp quyết định các nhóm thiết kế chính:

• Kết hợp sớm: Đầu vào được kết hợp trước hoặc ngay tại các layer đầu tiên. Có thể xếp chồng dữ liệu cảm biến đã đăng ký đồng bộ thành các kênh ảnh bổ sung; Ultralytics YOLO26 hỗ trợ trực tiếp cách này: đặt khóa channels trong YAML của dataset để huấn luyện detector trên ảnh có nhiều hơn ba kênh, chẳng hạn RGB cùng các dải nhiệt hoặc độ sâu được lưu thành một TIFF đa kênh, như dataset 10 kênh COCO8-Multispectral minh họa.
• Kết hợp trung gian: Mỗi phương thức được mã hóa riêng, rồi các đặc trưng gặp nhau ở giữa, thường thông qua attention. Flamingo của DeepMind chèn các layer cross-attention vào một language model đã đóng băng để token văn bản có thể attention đến đặc trưng hình ảnh; nhiều model thị giác-ngôn ngữ (VLM) chiếu đặc trưng hình ảnh thành “token thị giác” để large language model (LLM) xử lý cùng với prompt.
• Kết hợp muộn: Các model riêng biệt tạo dự đoán rồi kết hợp ở bước cuối. Cách này hoạt động ổn định khi một cảm biến bị lỗi, nhưng không thể học các tương tác giữa những phương thức.
• Embedding chung: Encoder ánh xạ mọi phương thức vào cùng một không gian vector, được huấn luyện bằng học tương phản để các cặp tương ứng nằm gần nhau. CLIP căn chỉnh hình ảnh và văn bản; ImageBind của Meta mở rộng một không gian embedding cho sáu phương thức: hình ảnh, văn bản, âm thanh, độ sâu, nhiệt và dữ liệu cảm biến chuyển động, chỉ sử dụng dữ liệu được ghép cặp với hình ảnh.

Dữ liệu và tác vụ phần lớn quyết định thiết kế nào phù hợp:

ViLT, Vision-and-Language Transformer, là một ví dụ gọn nhẹ về kết hợp sớm: model chia ảnh thành các patch, embedding chúng cùng với các từ trong câu hỏi, rồi đưa chuỗi kết hợp qua một transformer. Ví dụ sau sử dụng checkpoint ViLT được fine-tune cho tác vụ trả lời câu hỏi trực quan (VQA) thông qua Hugging Face Transformers:

import requests
import torch
from PIL import Image
from transformers import ViltForQuestionAnswering, ViltProcessor

# ViLT embeds image patches and question tokens into one sequence for a single transformer
processor = ViltProcessor.from_pretrained("dandelin/vilt-b32-finetuned-vqa")
model = ViltForQuestionAnswering.from_pretrained("dandelin/vilt-b32-finetuned-vqa")
image = Image.open(requests.get("https://ultralytics.com/images/bus.jpg", stream=True).raw)

# Ask different questions about the same image; each answer is one of the model's 3,129 answer classes
for question in ["What vehicle is this?", "What color is the bus?", "How many people are there?"]:
    inputs = processor(image, question, return_tensors="pt")
    with torch.no_grad():
        logits = model(**inputs).logits
    answer = model.config.id2label[logits.argmax(-1).item()]
    print(f"{question} {answer}")

Model trả lời chính xác bus và blue and white dựa trên cùng một ảnh, đồng thời trả lời 3 cho câu hỏi đếm, mặc dù trong ảnh có bốn người, hai người bị cắt mất một phần ở mép ảnh; đếm vẫn là một điểm yếu phổ biến của các model thị giác-ngôn ngữ.

Các loại model đa phương thức#

• Mô hình thị giác-ngôn ngữ: Đọc ảnh và văn bản để tạo caption, trả lời câu hỏi, đọc tài liệu hoặc định vị đối tượng được nêu trong prompt; tác vụ này gọi là grounding. Kết quả benchmark VLM so sánh độ chính xác khi các model như vậy định vị đối tượng trong dataset detection thực tế.
• Trợ lý đa phương thức tự nhiên: GPT-4o của OpenAI, phát hành năm 2024, được huấn luyện đầu-cuối dưới dạng một mạng duy nhất trên văn bản, thị giác và âm thanh; Google thiết kế các model Gemini theo hướng đa phương thức ngay từ đầu, nhờ vậy một model có thể tiếp nhận kết hợp văn bản, ảnh, âm thanh và video trong cùng một prompt.
• Model âm thanh-ngôn ngữ: Kết hợp lời nói hoặc âm thanh với văn bản để phiên âm, dịch thuật và hội thoại bằng lời nói.
• Model thị giác-ngôn ngữ-hành động: Mở rộng VLM để xuất lệnh điều khiển động cơ robot, giúp robot làm theo chỉ dẫn như “đặt quả táo vào bát”.
• Nhận thức hợp nhất cảm biến: Xe tự hành kết hợp đầu vào từ camera, lidar và radar vào một model duy nhất để phát hiện và theo dõi đối tượng trong không gian 3D.

Model đa phương thức và các thuật ngữ liên quan#

• AI đa phương thức: Lĩnh vực AI rộng hơn, xử lý nhiều loại dữ liệu, bao gồm cả các hệ thống kết nối những model đơn phương thức. Model đa phương thức là một model đơn lẻ trong lĩnh vực này.
• Học đa phương thức: Các phương pháp huấn luyện như căn chỉnh tương phản và pretraining xuyên phương thức, tạo ra model đa phương thức.
• Hợp nhất cảm biến: Kết hợp số đo từ nhiều cảm biến, thường bằng các bộ ước lượng cổ điển như bộ lọc Kalman thay vì model được học.
• Foundation model: Model lớn được pretrained cho nhiều tác vụ downstream. Nhiều foundation model gần đây là đa phương thức, trong khi những model khác, chẳng hạn LLM chỉ xử lý văn bản, chỉ xử lý một phương thức.

Thách thức#

Model đa phương thức cần lượng lớn dữ liệu được ghép cặp, chẳng hạn hình ảnh có chú thích hoặc âm thanh đã phiên âm, đồng thời phải xử lý được trường hợp thiếu hoặc nhiễu một phương thức khi suy luận, chẳng hạn camera bị lóa. Đầu vào hình ảnh và video tốn kém vì mỗi hình ảnh bổ sung hàng trăm hoặc hàng nghìn token vào ngữ cảnh của LLM. Model cũng có thể dựa quá nhiều vào phương thức dễ hơn và bỏ qua phương thức khó hơn: các model VQA đời đầu thường trả lời chỉ dựa trên mẫu trong câu hỏi, nên benchmark VQA v2 ghép mỗi câu hỏi với hai hình ảnh tương tự nhưng dẫn đến các câu trả lời khác nhau, khiến số cặp hình ảnh-câu hỏi trong dataset tăng gần gấp đôi.