Multimodal AI

AI đa phương thức đề cập đến một nhóm hệ thống trí tuệ nhân tạo (AI) tiên tiến được thiết kế để đồng thời xử lý, diễn giải và tổng hợp thông tin từ nhiều loại dữ liệu khác nhau, hay còn gọi là "phương thức". Không giống các hệ thống đơn phương thức truyền thống chỉ chuyên về một nguồn đầu vào—chẳng hạn như xử lý ngôn ngữ tự nhiên (NLP) cho văn bản hoặc thị giác máy tính (CV) cho hình ảnh—AI đa phương thức mô phỏng nhận thức của con người bằng cách tích hợp các luồng dữ liệu đa dạng. Sự tích hợp này có thể bao gồm việc kết hợp dữ liệu thị giác (hình ảnh, video) với dữ liệu ngôn ngữ (văn bản, âm thanh lời nói) và thông tin cảm biến (LiDAR, radar, ảnh nhiệt). Bằng cách tận dụng các đầu vào kết hợp này, những model này đạt được khả năng hiểu sâu hơn và nhận biết ngữ cảnh tốt hơn về các tình huống phức tạp trong thế giới thực, tiến gần hơn đến các năng lực rộng của trí tuệ nhân tạo tổng quát (AGI).

Cách các hệ thống đa phương thức hoạt động#

Sức mạnh cốt lõi của AI đa phương thức nằm ở khả năng ánh xạ các loại dữ liệu khác nhau vào một không gian toán học chung, nơi chúng có thể được so sánh và kết hợp. Quy trình này thường bao gồm ba giai đoạn chính: mã hóa, căn chỉnh và hợp nhất.

1. Trích xuất đặc trưng: Các mạng neural chuyên biệt xử lý từng phương thức một cách độc lập để xác định các mẫu chính. Ví dụ, một mạng neural tích chập (CNN) có thể trích xuất các đặc trưng thị giác từ một bức ảnh, trong khi một Transformer xử lý chú thích đi kèm.

2. Căn chỉnh và Embedding: Các đặc trưng được trích xuất sẽ được chuyển đổi thành các vector số có số chiều cao. Model học cách căn chỉnh những vector này để các khái niệm tương đồng về ngữ nghĩa (ví dụ: hình ảnh một con mèo và từ "mèo" trong văn bản) nằm gần nhau trong không gian vector. Điều này thường đạt được thông qua các kỹ thuật như học tương phản, một phương pháp nổi tiếng được sử dụng trong các model như CLIP của OpenAI.

3. Hợp nhất dữ liệu: Hệ thống hợp nhất dữ liệu đã được căn chỉnh bằng các kỹ thuật hợp nhất tiên tiến. Các kiến trúc hiện đại sử dụng cơ chế attention để điều chỉnh động mức độ quan trọng của phương thức này so với phương thức khác tùy theo ngữ cảnh, cho phép model tập trung vào văn bản khi hình ảnh không rõ ràng, hoặc ngược lại.

Các ứng dụng trong thực tế#

AI đa phương thức đã mở ra những năng lực trước đây không thể đạt được với các hệ thống đơn phương thức, thúc đẩy đổi mới trong nhiều ngành khác nhau.

• Trả lời câu hỏi trực quan (VQA): Trong ứng dụng này, người dùng có thể cung cấp một hình ảnh cho AI và đặt các câu hỏi bằng ngôn ngữ tự nhiên về hình ảnh đó. Ví dụ, một người khiếm thị có thể tải lên ảnh một tủ đựng thực phẩm và hỏi: "Tôi còn mì ống không?" Model xử lý nội dung thị giác và truy vấn văn bản để đưa ra câu trả lời cụ thể.
• Xe tự hành: Xe tự lái phụ thuộc nhiều vào các đầu vào đa phương thức, kết hợp dữ liệu từ camera, đám mây điểm LiDAR và radar để di chuyển an toàn. Sự dự phòng này đảm bảo rằng nếu một cảm biến gặp sự cố (ví dụ: camera bị lóa do ánh nắng), các cảm biến khác vẫn có thể duy trì các tiêu chuẩn an toàn do Hiệp hội Kỹ sư Ô tô (SAE) đề ra.
• Chẩn đoán y tế: Các hệ thống AI y tế tiên tiến phân tích hình ảnh y tế (chẳng hạn như MRI hoặc X-quang) cùng với bệnh sử dạng văn bản phi cấu trúc và dữ liệu di truyền của bệnh nhân. Góc nhìn toàn diện này hỗ trợ bác sĩ đưa ra chẩn đoán chính xác hơn, một chủ đề thường được thảo luận trên Nature Digital Medicine.
• AI tạo sinh: Các công cụ tạo hình ảnh từ prompt văn bản, chẳng hạn như Stable Diffusion, hoàn toàn phụ thuộc vào khả năng của model trong việc hiểu mối quan hệ giữa các mô tả ngôn ngữ và kết cấu hình ảnh.

Phát hiện từ vựng mở với Ultralytics#

Trong khi các bộ phát hiện đối tượng tiêu chuẩn dựa vào danh sách danh mục được xác định trước, các phương pháp đa phương thức như YOLO-World cho phép người dùng phát hiện đối tượng bằng các prompt văn bản có từ vựng mở. Điều này thu hẹp khoảng cách giữa lệnh ngôn ngữ và khả năng nhận dạng thị giác trong hệ sinh thái Ultralytics.

Ví dụ sau đây minh họa cách sử dụng thư viện ultralytics để thực hiện phát hiện từ vựng mở, trong đó model phát hiện các đối tượng dựa trên đầu vào văn bản tùy chỉnh:

from ultralytics import YOLOWorld

# Load a pretrained YOLO-World model (Multimodal: Text + Vision)
model = YOLOWorld("yolov8s-world.pt")

# Define custom text prompts (modalities) for the model to identify
model.set_classes(["person wearing a red hat", "blue backpack"])

# Run inference: The model aligns the text prompts with visual features
results = model.predict("https://ultralytics.com/images/bus.jpg")

# Show the results
results[0].show()

Phân biệt các thuật ngữ liên quan#

Để định hướng trong bối cảnh machine learning hiện đại, việc phân biệt "AI đa phương thức" với các khái niệm liên quan là rất hữu ích:

• Học đa phương thức: Đây là ngành học thuật và phương pháp luận về việc huấn luyện các thuật toán trên nhiều loại dữ liệu kết hợp. "AI đa phương thức" thường đề cập đến ứng dụng thực tiễn hoặc chính hệ thống tạo ra từ quá trình đó.
• Các mô hình ngôn ngữ lớn (LLMs): Các LLM truyền thống là đơn phương thức, được huấn luyện hoàn toàn trên dữ liệu văn bản. Tuy nhiên, ngành này đang chuyển sang "Các mô hình đa phương thức lớn" (LMM), có khả năng xử lý hình ảnh và văn bản một cách nguyên bản; xu hướng này được hỗ trợ bởi các framework như PyTorch và TensorFlow.
• Các model thị giác chuyên biệt: Những model như Ultralytics YOLO26 hiện đại nhất là các chuyên gia chuyên biệt cao trong các tác vụ thị giác. Trong khi một model đa phương thức tổng quát có thể mô tả khái quát một cảnh, các model chuyên biệt lại vượt trội trong phát hiện đối tượng tốc độ cao, chính xác và xử lý theo thời gian thực trên phần cứng biên.

Triển vọng tương lai#

Quỹ đạo phát triển của AI đa phương thức hướng đến các hệ thống có năng lực suy luận cao hơn. Bằng cách gắn kết ngôn ngữ thành công với thực tế thị giác và vật lý, những model này đang vượt ra ngoài mối tương quan thống kê để hướng tới khả năng hiểu thực sự. Nghiên cứu từ các tổ chức như Google DeepMind và Trung tâm Nghiên cứu về Foundation Model của Stanford tiếp tục mở rộng giới hạn về cách máy móc nhận thức các môi trường phức tạp.

Tại Ultralytics, chúng tôi đang tích hợp những tiến bộ này vào Ultralytics Platform, cho phép người dùng quản lý dữ liệu, huấn luyện model và triển khai các giải pháp tận dụng toàn bộ phổ phương thức hiện có, kết hợp tốc độ của YOLO26 với tính linh hoạt của các đầu vào đa phương thức.