Học tập đa phương thức

Học tập đa phương thức là một nhánh của học máy (ML), trong đó các mô hình AI được đào tạo để xử lý và hiểu thông tin từ nhiều loại dữ liệu, được gọi là phương thức. Cũng giống như con người nhận thức thế giới bằng cách kết hợp thị giác, âm thanh và ngôn ngữ, học tập đa phương thức cho phép AI phát triển khả năng hiểu biết toàn diện và theo ngữ cảnh hơn bằng cách tích hợp dữ liệu từ các nguồn như hình ảnh, văn bản, âm thanh và dữ liệu cảm biến. Phương pháp này vượt ra ngoài các hệ thống tập trung đơn lẻ, cho phép diễn giải phong phú hơn và các ứng dụng tinh vi hơn, phản ánh trí thông minh giống con người. Mục tiêu cuối cùng là xây dựng các mô hình có thể nhìn, đọc và nghe để rút ra những hiểu biết toàn diện.

Học tập đa phương thức hoạt động như thế nào

Các hệ thống học tập đa phương thức được thiết kế để giải quyết ba thách thức cốt lõi: biểu diễn, căn chỉnh và hợp nhất. Đầu tiên, mô hình phải học một biểu diễn có ý nghĩa cho mỗi phương thức, thường chuyển đổi các kiểu dữ liệu đa dạng như pixel và từ thành các vectơ số gọi là nhúng . Thứ hai, nó phải căn chỉnh các biểu diễn này, kết nối các khái niệm liên quan giữa các phương thức—ví dụ, liên kết văn bản "một chú chó bắt đĩa bay" với các yếu tố trực quan tương ứng trong một hình ảnh. Cuối cùng, nó hợp nhất các biểu diễn đã căn chỉnh này để đưa ra một dự đoán thống nhất hoặc tạo ra nội dung mới. Quá trình hợp nhất này có thể diễn ra ở các giai đoạn khác nhau, và sự phát triển của các kiến trúc như Transformer và cơ chế chú ý của nó đã đóng vai trò then chốt trong việc tạo ra các chiến lược hợp nhất hiệu quả.

Ứng dụng trong thế giới thực

Học tập đa phương thức là động lực đằng sau nhiều khả năng AI tiên tiến. Dưới đây là một vài ví dụ nổi bật:

1. Trả lời Câu hỏi Trực quan (VQA): Trong VQA, mô hình AI được cung cấp một hình ảnh và một câu hỏi ngôn ngữ tự nhiên về hình ảnh đó (ví dụ: "Người mặc áo đỏ đang làm gì?"). Mô hình phải đồng thời xử lý thông tin trực quan từ hình ảnh và ý nghĩa ngữ nghĩa của văn bản để đưa ra câu trả lời chính xác. Công nghệ này được sử dụng để tạo ra các công cụ hỗ trợ cho người khiếm thị và phân tích nội dung nâng cao. Bạn có thể khám phá bộ dữ liệu VQA phổ biến để xem thêm ví dụ.
2. Tạo văn bản thành hình ảnh: Các mô hình tạo hình như DALL-E 3 và Stable Diffusion của OpenAI là những ví dụ điển hình về học tập đa phương thức. Chúng lấy một mô tả văn bản (một lời nhắc) và tạo ra một hình ảnh mới tương ứng. Điều này đòi hỏi sự hiểu biết sâu sắc về ngôn ngữ và khả năng chuyển đổi các khái niệm trừu tượng thành các chi tiết trực quan mạch lạc, một nhiệm vụ kết hợp giữa NLP và tầm nhìn tạo hình.

Sự khác biệt chính

Sẽ rất hữu ích khi phân biệt Học tập đa phương thức với các thuật ngữ liên quan:

• Mô hình đa phương thức : Học tập đa phương thức là quá trình hoặc lĩnh vực nghiên cứu liên quan đến việc đào tạo AI bằng nhiều loại dữ liệu. Mô hình đa phương thức là hệ thống hoặc kiến trúc AI kết quả được thiết kế và đào tạo bằng các kỹ thuật này.
• Thị giác Máy tính (CV) : CV tập trung hoàn toàn vào việc xử lý và hiểu dữ liệu trực quan. Trong khi một mô hình CV chuyên biệt như Ultralytics YOLO11 vượt trội trong các nhiệm vụ như phát hiện đối tượng , học đa phương thức còn tiến xa hơn bằng cách tích hợp dữ liệu trực quan đó với các phương thức khác.
• Xử lý Ngôn ngữ Tự nhiên (NLP) : NLP liên quan đến việc hiểu và tạo ra ngôn ngữ của con người. Học tập đa phương thức tích hợp dữ liệu ngôn ngữ với các phương thức khác như hình ảnh hoặc dữ liệu cảm biến, như được thấy trong Mô hình Ngôn ngữ Thị giác .
• Mô hình Nền tảng : Đây là những mô hình quy mô lớn được đào tạo trước trên một lượng dữ liệu khổng lồ. Nhiều mô hình nền tảng hiện đại, như GPT-4 , vốn dĩ có tính đa phương thức, nhưng các khái niệm lại khác biệt. Học tập đa phương thức là một phương pháp luận thường được sử dụng để xây dựng các mô hình mạnh mẽ này, được nghiên cứu bởi các tổ chức như CRFM của Stanford .

Thách thức và hướng đi trong tương lai

Học tập đa phương thức đặt ra những thách thức độc đáo, bao gồm việc sắp xếp dữ liệu hiệu quả từ các nguồn khác nhau, phát triển các chiến lược hợp nhất tối ưu và xử lý dữ liệu bị thiếu hoặc nhiễu. Việc giải quyết những thách thức này trong học tập đa phương thức vẫn là một lĩnh vực nghiên cứu tích cực. Lĩnh vực này đang phát triển nhanh chóng, mở rộng ranh giới hướng tới các hệ thống AI có khả năng nhận thức và lý luận về thế giới giống con người hơn, có khả năng đóng góp vào sự phát triển của Trí tuệ Nhân tạo Tổng quát (AGI) . Mặc dù các nền tảng như Ultralytics HUB hiện đang hỗ trợ các quy trình làm việc chủ yếu tập trung vào các tác vụ thị giác máy tính, nhưng bối cảnh AI rộng hơn hướng tới việc tích hợp ngày càng nhiều các khả năng đa phương thức. Hãy theo dõi Blog Ultralytics để cập nhật các khả năng mô hình mới được phát triển với các nền tảng như PyTorch và TensorFlow .