AI đa phương thức

Trí tuệ nhân tạo đa phương thức (Multimodal AI) đề cập đến một nhóm hệ thống trí tuệ nhân tạo (AI) tinh vi được thiết kế để xử lý, diễn giải và tổng hợp thông tin từ nhiều loại dữ liệu khác nhau, hay còn gọi là "phương thức", cùng một lúc. Không giống như các hệ thống đơn phương thức truyền thống chuyên về một nguồn đầu vào duy nhất—chẳng hạn như Xử lý ngôn ngữ tự nhiên (NLP) cho văn bản hoặc Thị giác máy tính (CV) cho hình ảnh—trí tuệ nhân tạo đa phương thức mô phỏng nhận thức của con người bằng cách tích hợp các luồng dữ liệu đa dạng. Điều này có thể bao gồm việc kết hợp dữ liệu hình ảnh (hình ảnh, video) với dữ liệu ngôn ngữ (văn bản, âm thanh nói) và thông tin cảm giác (LiDAR, radar, nhiệt). Bằng cách tận dụng các đầu vào kết hợp này, các mô hình này đạt được sự hiểu biết sâu sắc hơn, nhận thức ngữ cảnh tốt hơn về các tình huống phức tạp trong thế giới thực, tiến gần hơn đến khả năng của Trí tuệ nhân tạo tổng quát (AGI) .

Cơ chế cốt lõi của hệ thống đa phương thức

Sức mạnh của trí tuệ nhân tạo đa phương thức nằm ở khả năng ánh xạ các loại dữ liệu khác nhau vào một không gian toán học chung. Quá trình này thường bao gồm ba giai đoạn chính: mã hóa, hợp nhất và giải mã.

1. Trích xuất đặc trưng: các mạng nơ-ron chuyên dụng (NN) mã hóa từng phương thức dữ liệu. Ví dụ, một mạng nơ-ron tích chập (CNN) có thể xử lý hình ảnh để trích xuất các đặc trưng trực quan, trong khi một Transformer xử lý văn bản đi kèm.
2. Nhúng và căn chỉnh: Các đặc trưng được trích xuất được chuyển đổi thành các vectơ nhúng — các vectơ số đa chiều. Mô hình căn chỉnh các vectơ này sao cho các khái niệm có ý nghĩa tương tự (ví dụ: ảnh chụp một con mèo và từ "mèo") được đặt gần nhau trong không gian vectơ. Điều này thường được thực hiện thông qua các kỹ thuật như học tương phản , nổi tiếng được sử dụng trong các mô hình như CLIP của OpenAI .
3. Kết hợp: Hệ thống hợp nhất dữ liệu đã được căn chỉnh bằng các kỹ thuật kết hợp . Các cơ chế chú ý nâng cao cho phép mô hình tự động đánh giá tầm quan trọng của một phương thức này so với phương thức khác tùy thuộc vào ngữ cảnh, một khái niệm được trình bày chi tiết trong bài báo nền tảng "Attention Is All You Need" .

Các Ứng dụng Thực tế

Trí tuệ nhân tạo đa phương thức đang cách mạng hóa các ngành công nghiệp bằng cách giải quyết các vấn đề đòi hỏi cái nhìn toàn diện về môi trường.

• Trả lời câu hỏi bằng hình ảnh (Visual Question Answering - VQA) : Ứng dụng này cho phép người dùng truy vấn hình ảnh bằng ngôn ngữ tự nhiên. Ví dụ, người dùng khiếm thị có thể đưa ra ảnh chụp một cái tủ đựng thức ăn và hỏi, "Có lon súp nào trên kệ trên cùng không?" Hệ thống sử dụng nhận diện đối tượng để xác định các vật phẩm và xử lý ngôn ngữ tự nhiên (NLP) để hiểu câu hỏi cụ thể, từ đó cung cấp câu trả lời bằng âm thanh.
• Xe tự hành : Xe tự lái dựa vào sự kết hợp các cảm biến để di chuyển an toàn. Chúng kết hợp hình ảnh từ camera với dữ liệu độ sâu từ LiDAR và dữ liệu vận tốc từ radar. Cách tiếp cận đa phương thức này đảm bảo rằng nếu một cảm biến bị lỗi (ví dụ: camera bị lóa do ánh nắng mặt trời), hệ thống vẫn có thể hoạt động bình thường. detect vượt qua chướng ngại vật và duy trì an toàn giao thông .
• Trí tuệ nhân tạo trong chăm sóc sức khỏe : Các công cụ chẩn đoán hiện đại tích hợp phân tích hình ảnh y tế (tia X, MRI) với dữ liệu văn bản phi cấu trúc như ghi chú lâm sàng và bệnh sử của bệnh nhân. Bằng cách phân tích các phương thức này cùng nhau, bác sĩ có thể đưa ra đánh giá rủi ro chính xác hơn và kế hoạch điều trị cá nhân hóa.

Phát hiện từ vựng mở với Ultralytics

Một ví dụ thực tiễn về trí tuệ nhân tạo đa phương thức là phát hiện đối tượng dựa trên từ vựng mở, trong đó mô hình phát hiện các đối tượng dựa trên các lời nhắc văn bản tùy ý thay vì danh sách các lớp đã được huấn luyện trước. Mô hình Ultralytics YOLO -World thể hiện khả năng này, thu hẹp khoảng cách giữa các lệnh ngôn ngữ và nhận dạng hình ảnh.

from ultralytics import YOLOWorld

# Load a pretrained YOLO-World model (Multimodal: Text + Vision)
model = YOLOWorld("yolov8s-world.pt")

# Define custom text prompts (modalities) for the model to identify
model.set_classes(["person wearing a red hat", "blue backpack"])

# Run inference: The model aligns the text prompts with visual features in the image
results = model.predict("https://ultralytics.com/images/bus.jpg")

# Visualize the multimodal detection results
results[0].show()

Phân biệt các thuật ngữ chính

Việc phân biệt "Trí tuệ nhân tạo đa phương thức" với các khái niệm liên quan sẽ giúp hiểu rõ hơn về lĩnh vực này:

• Học tập đa phương thức : Điều này đề cập đến lĩnh vực học thuật và quy trình huấn luyện thuật toán trên các loại dữ liệu hỗn hợp. Trí tuệ nhân tạo đa phương thức là ứng dụng thực tiễn hoặc kết quả của quá trình học tập này.
• Mô hình ngôn ngữ quy mô lớn (LLM) : Các LLM truyền thống là đơn phương thức, chỉ xử lý văn bản. Mặc dù nhiều LLM đang phát triển thành Mô hình ngôn ngữ-hình ảnh (VLM), nhưng một LLM tiêu chuẩn không tự động xử lý dữ liệu hình ảnh mà không cần các bộ điều hợp bổ sung.
• Mô hình thị giác chuyên dụng: Các mô hình như Ultralytics YOLO26 tiên tiến là những chuyên gia cao cấp trong các tác vụ thị giác. Trong khi một mô hình đa phương thức tổng quát có thể mô tả một cảnh một cách khái quát, các mô hình chuyên dụng lại vượt trội trong việc phân đoạn đối tượng chính xác, tốc độ cao và xử lý thời gian thực trên phần cứng biên.

Định hướng tương lai

Lĩnh vực này đang hướng tới các Mô hình Nền tảng có tính đa phương thức ngay từ đầu, thay vì ghép nối các mạng lưới riêng biệt. Nghiên cứu từ các tổ chức như Google DeepMind tiếp tục đẩy mạnh giới hạn về cách AI nhận thức thế giới. Ultralytics Việc phát hành YOLO26 đánh dấu một tiêu chuẩn mới về hiệu quả trong thành phần xử lý hình ảnh của các quy trình này, đảm bảo rằng "đôi mắt" thị giác của các hệ thống đa phương thức hoạt động nhanh hơn và chính xác hơn bao giờ hết.