Multi-Modal Learning

Học đa phương thức là lĩnh vực machine learning tập trung huấn luyện model trên dữ liệu thuộc nhiều hơn một phương thức, chẳng hạn ảnh kèm chú thích, video kèm âm thanh hoặc khung hình camera kèm bản quét lidar, để model học mối liên hệ giữa các phương thức. Các phương pháp trong lĩnh vực này giải quyết hai câu hỏi: biểu diễn các phương thức khác nhau thế nào để có thể so sánh, và kết hợp chúng ở đâu trong model. Các hệ thống được tạo ra từ những phương pháp này, từ trợ lý thị giác-ngôn ngữ đến các hệ thống nhận thức xe tự hành, được gọi là AI đa phương thức.

Con người kết hợp các giác quan một cách dễ dàng. Trong hiệu ứng McGurk được mô tả năm 1976, video ghi hình đôi môi nói "ga" lồng với âm thanh "ba" khiến người xem nghe thành "da". Năm 2011, Jiquan Ngiam và cộng sự tại Stanford đưa ý tưởng này vào học sâu, huấn luyện mạng trên âm thanh và video môi cùng lúc, đồng thời cho thấy đặc trưng học được từ cả hai phương thức cải thiện khả năng đọc khẩu hình so với chỉ dùng video.

Các thách thức cốt lõi#

Trong khảo sát năm 2019, Tadas Baltrušaitis, Chaitanya Ahuja và Louis-Philippe Morency hệ thống hóa lĩnh vực này theo năm thách thức:

• Biểu diễn: Mã hóa mỗi phương thức thành vector, trong cùng một không gian chung hoặc trong các không gian riêng được huấn luyện để căn chỉnh với nhau.
• Chuyển đổi: Ánh xạ từ phương thức này sang phương thức khác, như tạo chú thích ảnh hoặc tạo ảnh từ văn bản.
• Căn chỉnh: Tìm các phần của phương thức này tương ứng với các phần của phương thức khác, chẳng hạn vùng ảnh mà một cụm từ mô tả.
• Hợp nhất: Kết hợp thông tin từ nhiều phương thức để đưa ra dự đoán.
• Học kết hợp: Chuyển kiến thức từ phương thức có nhiều dữ liệu sang phương thức có ít dữ liệu.

Các chiến lược hợp nhất#

Hợp nhất sớm kết hợp đầu vào hoặc đặc trưng mức thấp trước khi xử lý riêng từng phương thức, chẳng hạn xếp chồng bản đồ độ sâu với các kênh RGB thành một ảnh bốn kênh. Hợp nhất muộn chạy một model riêng cho mỗi phương thức rồi gộp các dự đoán bằng cách lấy trung bình hoặc bỏ phiếu; phương pháp này vẫn hoạt động khi thiếu một phương thức. Hợp nhất trung gian mã hóa riêng từng phương thức rồi cho phép chúng trao đổi thông tin bên trong mạng, thường thông qua cross-attention—một cơ chế attention trong đó token của phương thức này attention đến đặc trưng của phương thức khác. Hợp nhất cảm biến trong robot và phương tiện sử dụng cả ba phương pháp.

Việc bổ sung một phương thức cũng có thể làm giảm độ chính xác. Năm 2020, Weiyao Wang, Du Tran và Matt Feiszli cho thấy mạng phân loại video được huấn luyện đồng thời trên âm thanh, khung hình và chuyển động thường có hiệu năng kém hơn model đơn phương thức tốt nhất, vì model overfit và các phương thức học với tốc độ khác nhau. Phương pháp Gradient-Blending của họ tái cân bằng loss của từng phương thức để bù lại.

Căn chỉnh tương phản#

Học tương phản căn chỉnh các phương thức mà không cần nhãn thủ công. CLIP của OpenAI (2021) huấn luyện một bộ mã hóa ảnh và một bộ mã hóa văn bản trên 400 triệu cặp ảnh-chú thích, để embedding của mỗi ảnh embedding giống với chú thích tương ứng nhất trong số toàn bộ chú thích của một batch; kết quả đạt độ chính xác ImageNet của ResNet-50 gốc theo kiểu zero-shot, mà không dùng bất kỳ ảnh nào trong số 1.28 triệu ảnh huấn luyện có nhãn của ImageNet. Hàm loss là cross-entropy trên ma trận độ tương đồng, áp dụng theo cả hai chiều:

import torch
import torch.nn.functional as F

torch.manual_seed(0)

# Unit-length embeddings for 4 images and 4 captions; row i of each is a matching pair
image_emb = F.normalize(torch.randn(4, 64), dim=-1)
text_emb = F.normalize(image_emb + 0.5 * torch.randn(4, 64), dim=-1)


def contrastive_loss(images, texts, temperature=0.07):
    """CLIP-style symmetric cross-entropy over the image-text similarity matrix."""
    logits = images @ texts.T / temperature
    targets = torch.arange(len(images))  # the matching caption sits on the diagonal
    return (F.cross_entropy(logits, targets) + F.cross_entropy(logits.T, targets)) / 2


print(f"Aligned pairs:    {contrastive_loss(image_emb, text_emb):.3f}")
print(f"Misaligned pairs: {contrastive_loss(image_emb, text_emb.roll(1, dims=0)):.3f}")

Khi mỗi chú thích nằm gần ảnh tương ứng, loss là 0.577; dịch chú thích đi một hàng để mỗi ảnh ghép với chú thích sai sẽ làm loss tăng lên 2.756. Huấn luyện làm giảm loss này qua các batch gồm nhiều cặp (CLIP dùng 32,768 cặp), kéo mỗi ảnh lại gần chú thích tương ứng và xa mọi chú thích khác trong batch; CLIP học giá trị temperature trong quá trình huấn luyện, bắt đầu từ 0.07. ALIGN của Google (2021) mở rộng cùng phương pháp lên 1.8 tỷ cặp ảnh và văn bản thay thế nhiễu; SigLIP (2023) thay softmax bằng sigmoid độc lập cho từng cặp; ImageBind của Meta (2023) căn chỉnh sáu phương thức, bao gồm âm thanh, độ sâu, nhiệt và dữ liệu cảm biến chuyển động, bằng cách ghép từng phương thức với ảnh.

Bộ phát hiện open-vocabulary học cách căn chỉnh văn bản với các vùng ảnh theo cùng nguyên lý. Công thức huấn luyện YOLOE-26 của Ultralytics, một model YOLO26 open-vocabulary dựa trên YOLOE của Đại học Thanh Hoa, kết hợp nhãn detection từ Objects365 với dữ liệu grounding từ GQA và Flickr30k để huấn luyện từ đầu, tổng cộng khoảng 1,4 triệu mẫu; trainer mã hóa mỗi tên lớp và cụm từ một lần bằng text encoder MobileCLIP2 đóng băng của Apple rồi lưu cache embedding, do đó quá trình huấn luyện chỉ cập nhật bộ phát hiện, bao gồm một lớp residual nhỏ tinh chỉnh các vector văn bản đã lưu trước khi ghép chúng với đặc trưng vùng.

Học đa phương thức và các thuật ngữ liên quan#

• AI đa phương thức: Các hệ thống và ứng dụng được xây dựng bằng học đa phương thức, chẳng hạn trợ lý thị giác và hệ thống nhận thức hỗ trợ lái xe.
• Model đa phương thức: Model đã huấn luyện có thể xử lý nhiều phương thức, là sản phẩm tạo ra từ học đa phương thức.
• Mô hình thị giác-ngôn ngữ (VLM): Một model đa phương thức dành cho hình ảnh và văn bản, thường được huấn luyện theo nhiều giai đoạn: tiền huấn luyện tương phản, sau đó kết nối bộ mã hóa hình ảnh với model ngôn ngữ, rồi tinh chỉnh theo chỉ dẫn trực quan.
• Học chuyển giao: Tái sử dụng model được huấn luyện cho một tác vụ để thực hiện tác vụ khác; học đồng thời áp dụng ý tưởng này trên nhiều phương thức.