Multimodal AI

AI đa phương thức là các hệ thống trí tuệ nhân tạo (AI) tiếp nhận, kết hợp hoặc tạo ra nhiều hơn một loại dữ liệu hay phương thức: văn bản, hình ảnh, video, âm thanh và dữ liệu cảm biến như lidar và radar. Một trợ lý đa phương thức có thể xem ảnh đèn cảnh báo trên bảng điều khiển, đọc câu hỏi được nhập về đèn đó rồi trả lời bằng văn bản hoặc lời nói; xe tự lái kết hợp dữ liệu camera, lidar và radar thành một hình ảnh tổng thể về con đường. Thuật ngữ này chỉ các hệ thống và sản phẩm được xây dựng bằng học đa phương thức, tức các phương pháp huấn luyện như căn chỉnh tương phản và hợp nhất, giúp model học được mối quan hệ giữa các phương thức.

Cách xây dựng hệ thống đa phương thức#

Mỗi phương thức trước tiên đi qua một bộ mã hóa phù hợp, chẳng hạn Transformer thị giác (ViT) cho hình ảnh hoặc bộ mã hóa phổ đồ cho âm thanh, để chuyển đầu vào thô thành embedding. Tiếp đó, giai đoạn hợp nhất kết hợp các phương thức, còn bộ giải mã hoặc head tác vụ tạo ra đầu ra. Hầu hết trợ lý hiện nay đưa mọi thứ qua một mô hình ngôn ngữ lớn (LLM): LLaVA (2023) kết nối bộ mã hóa hình ảnh CLIP với model ngôn ngữ Vicuna thông qua một phép chiếu được học, chuyển đặc trưng hình ảnh thành các vector tương tự token; Flamingo của DeepMind (2022) thêm các lớp cross-attention mới vào một model ngôn ngữ bị đóng băng, cho phép token văn bản chú ý đến đặc trưng hình ảnh.

Các model đa phương thức nguyên bản được huấn luyện ngay từ đầu trên dữ liệu hỗn hợp, thay vì gắn bộ mã hóa vào một model ngôn ngữ đã hoàn thiện. Google giới thiệu Gemini là model đa phương thức nguyên bản vào tháng 12 năm 2023; GPT-4o của OpenAI (tháng 5 năm 2024) tiếp nhận mọi kết hợp giữa văn bản, âm thanh, hình ảnh và video, đồng thời phản hồi đầu vào bằng giọng nói trong trung bình 320 mili giây.

Các model một luồng đời trước như ViLT (2021) đưa các mảng ảnh và token câu hỏi vào cùng một transformer, rồi chọn mỗi câu trả lời từ một từ vựng cố định gồm 3.129 đáp án. ViLT đủ nhỏ để trả lời câu hỏi về ảnh trên CPU:

import requests
import torch
from PIL import Image
from transformers import ViltForQuestionAnswering, ViltProcessor

# ViLT embeds image patches and question tokens into one transformer input sequence
processor = ViltProcessor.from_pretrained("dandelin/vilt-b32-finetuned-vqa")
model = ViltForQuestionAnswering.from_pretrained("dandelin/vilt-b32-finetuned-vqa")
image = Image.open(requests.get("https://ultralytics.com/images/bus.jpg", stream=True).raw)

for question in ["What color is the bus?", "How many people are there?", "Is it raining?"]:
    inputs = processor(image, question, return_tensors="pt")
    with torch.no_grad():
        logits = model(**inputs).logits

    # Pick the most likely answer from the model's fixed answer vocabulary
    print(f"{question} -> {model.config.id2label[logits.argmax(-1).item()]}")

ViLT trả lời đúng "blue and white" và "no", đồng thời đếm được 3 người, trong khi có thể nhìn thấy ít nhất một phần của 4 người: hai người đàn ông đang đi bộ hiện rõ toàn thân và hai người bị cắt khỏi khung hình ở mép trái và phải. Đếm các vật thể nhỏ hoặc chỉ hiển thị một phần là lỗi thường gặp ở các model thị giác-ngôn ngữ.

Ứng dụng#

• Hỏi đáp trực quan (VQA): Be My Eyes ra mắt Be My AI vào năm 2023; sản phẩm này sử dụng GPT-4 của OpenAI để mô tả ảnh và trả lời các câu hỏi tiếp nối cho người mù và người có thị lực kém.
• Xe tự hành: Các dịch vụ taxi tự hành như Waymo kết hợp camera, lidar và radar; mỗi loại bao quát những điều kiện mà các loại còn lại gặp khó khăn, chẳng hạn ánh sáng chói, bóng tối hoặc sương mù.
• Y tế: Các model lâm sàng đọc ảnh chụp cùng với ghi chú và tiền sử của bệnh nhân, tức ngữ cảnh mà bác sĩ chẩn đoán hình ảnh sử dụng khi đọc ảnh.
• Tạo văn bản thành hình ảnh: Các model như Stable Diffusion chuyển mô tả bằng văn bản thành hình ảnh, còn model văn bản thành video mở rộng khả năng này sang chuyển động.
• RAG đa phương thức: Truy xuất hình ảnh, bảng và đoạn văn bản để LLM dùng làm căn cứ trả lời.

Gán nhãn dataset cũng đã trở thành một tác vụ đa phương thức. Trên dataset detection, tính năng gán nhãn thông minh theo class prompt trong Ultralytics Platform gửi tên class của dataset dưới dạng văn bản đến các model được lưu trữ như Florence-2 của Microsoft, Grounding DINO của IDEA Research và SAM 3.1 của Meta; các model này trả về bounding box có thể chỉnh sửa để huấn luyện bộ phát hiện YOLO26. Bảng xếp hạng VLM so sánh độ chính xác khi các model này và VLM tạo sinh gán nhãn dataset detection thực tế.

AI đa phương thức và các thuật ngữ liên quan#

• Học đa phương thức: Các phương pháp huấn luyện trên nhiều phương thức, chẳng hạn căn chỉnh tương phản và hợp nhất sớm, muộn hoặc bằng cross-attention. AI đa phương thức là các hệ thống và ứng dụng được tạo ra từ những phương pháp này.
• Model đa phương thức: Một model đơn lẻ đã huấn luyện có thể xử lý nhiều phương thức, là thành phần cốt lõi của phần lớn hệ thống AI đa phương thức.
• Mô hình thị giác-ngôn ngữ (VLM): Loại model đa phương thức phổ biến nhất, giới hạn ở hình ảnh hoặc video cùng văn bản.
• Hợp nhất cảm biến: Kết hợp phép đo cùng một cảnh từ nhiều cảm biến, thường bằng bộ lọc Kalman; đây là kỹ thuật trong robot học và xe cộ đã có từ lâu trước khi xuất hiện các model đa phương thức được học.