Tìm hiểu về các model thị giác-ngôn ngữ và ứng dụng của chúng

Trong một bài viết trước, chúng tôi đã tìm hiểu cách GPT-4o có thể hiểu và mô tả hình ảnh bằng ngôn từ. Chúng ta cũng thấy khả năng này ở các model mới khác như Google Gemini và Claude 3. Hôm nay, chúng ta sẽ tìm hiểu sâu hơn về khái niệm này để giải thích cách các mô hình ngôn ngữ thị giác hoạt động và cách chúng kết hợp dữ liệu hình ảnh với dữ liệu văn bản.

Các model này có thể thực hiện nhiều tác vụ ấn tượng, chẳng hạn như tạo chú thích chi tiết cho ảnh, trả lời câu hỏi về ảnh và thậm chí tạo nội dung hình ảnh mới dựa trên mô tả bằng văn bản. Bằng cách tích hợp thông tin hình ảnh và ngôn ngữ, các model Thị giác-Ngôn ngữ đang thay đổi cách chúng ta tương tác với công nghệ và hiểu thế giới xung quanh.

Cách các mô hình ngôn ngữ thị giác hoạt động#

Trước khi tìm hiểu các ứng dụng của Model Thị giác-Ngôn ngữ (VLMs), hãy cùng tìm hiểu chúng là gì và hoạt động như thế nào. VLMs là các model AI tiên tiến kết hợp khả năng của model thị giác và ngôn ngữ để xử lý cả ảnh lẫn văn bản. Các model này tiếp nhận hình ảnh cùng phần mô tả bằng văn bản và học cách liên kết hai loại dữ liệu. Thành phần thị giác của model trích xuất chi tiết từ ảnh, trong khi thành phần ngôn ngữ hiểu văn bản. Sự phối hợp này cho phép VLMs hiểu và phân tích cả ảnh lẫn văn bản.

Dưới đây là những khả năng chính của mô hình ngôn ngữ thị giác:

• Chú thích ảnh: Tạo văn bản mô tả dựa trên nội dung hình ảnh.
• Hỏi đáp trực quan (VQA): Trả lời các câu hỏi liên quan đến nội dung của hình ảnh.
• Tạo ảnh từ văn bản: Tạo ảnh dựa trên nội dung mô tả bằng văn bản.
• Truy xuất ảnh-văn bản: Tìm ảnh phù hợp với một truy vấn văn bản nhất định và ngược lại.
• Tạo nội dung đa phương thức: Kết hợp hình ảnh và văn bản để tạo nội dung mới.
• Hiểu cảnh và phát hiện đối tượng: Xác định và phân loại các đối tượng cùng chi tiết trong ảnh. Trên Ultralytics Platform, nhiều VLM có thể tự động gán nhãn các bộ dữ liệu phát hiện, còn Bảng xếp hạng VLM so sánh độ chính xác của từng model trong tác vụ này.

Hình 1. Ví dụ về các khả năng của mô hình ngôn ngữ thị giác.

Tiếp theo, hãy cùng tìm hiểu các kiến trúc VLM và kỹ thuật học phổ biến được sử dụng trong những model nổi tiếng như CLIP, SimVLM và VisualGPT.

Học tương phản#

Học tương phản là một kỹ thuật giúp model học bằng cách so sánh sự khác biệt giữa các điểm dữ liệu. Kỹ thuật này tính toán mức độ tương đồng hoặc khác biệt giữa các mẫu và hướng đến việc giảm thiểu hàm mất mát tương phản, vốn đo lường những khác biệt đó. Phương pháp này đặc biệt hữu ích trong học bán giám sát, khi một tập nhỏ các ví dụ đã gán nhãn hướng dẫn model gán nhãn dữ liệu mới chưa từng thấy. Ví dụ, để hiểu một con mèo trông như thế nào, model so sánh mèo với các ảnh mèo tương tự và ảnh chó. Bằng cách xác định các đặc điểm như cấu trúc khuôn mặt, kích thước cơ thể và bộ lông, các kỹ thuật học tương phản có thể phân biệt mèo với chó.

Hình 2. Cách học tương phản hoạt động.

CLIP là một mô hình ngôn ngữ thị giác sử dụng học tương phản để ghép mô tả văn bản với hình ảnh. Model hoạt động qua ba bước đơn giản. Đầu tiên, model huấn luyện các thành phần hiểu cả văn bản lẫn hình ảnh. Thứ hai, model chuyển các danh mục trong bộ dữ liệu thành mô tả bằng văn bản. Thứ ba, model xác định mô tả phù hợp nhất với một hình ảnh nhất định. Nhờ phương pháp này, model CLIP có thể đưa ra dự đoán chính xác ngay cả với các tác vụ chưa được huấn luyện chuyên biệt.

PrefixLM#

PrefixLM là một kỹ thuật xử lý ngôn ngữ tự nhiên (NLP) dùng để huấn luyện model. Kỹ thuật này bắt đầu từ một phần của câu (tiền tố) và học cách dự đoán từ tiếp theo. Trong các mô hình ngôn ngữ thị giác, PrefixLM giúp model dự đoán các từ tiếp theo dựa trên hình ảnh và một đoạn văn bản cho trước. Kỹ thuật này sử dụng Transformer thị giác (ViT), chia hình ảnh thành các mảng nhỏ, mỗi mảng biểu thị một phần của hình ảnh, rồi xử lý các mảng theo thứ tự.

Hình 3. Ví dụ huấn luyện VLM sử dụng kỹ thuật PrefixLM.

SimVLM là một VLM sử dụng kỹ thuật học PrefixLM. Model này dùng kiến trúc Transformer đơn giản hơn so với các model trước đó nhưng đạt kết quả tốt hơn trong nhiều bài kiểm tra. Kiến trúc model học cách liên kết hình ảnh với tiền tố văn bản bằng encoder Transformer, sau đó tạo văn bản bằng decoder Transformer.

Hợp nhất đa phương thức bằng cơ chế chú ý chéo#

Hợp nhất đa phương thức bằng cơ chế chú ý chéo là kỹ thuật cải thiện khả năng hiểu và xử lý dữ liệu thị giác của mô hình ngôn ngữ thị giác đã được huấn luyện trước. Kỹ thuật này bổ sung các lớp chú ý chéo vào model, cho phép model đồng thời tập trung vào thông tin thị giác và thông tin văn bản.

Cách thức hoạt động:

• Các đối tượng chính trong hình ảnh được nhận diện và làm nổi bật.
• Các đối tượng được làm nổi bật sẽ được xử lý bằng encoder thị giác, chuyển đổi thông tin thị giác thành định dạng mà model có thể hiểu.
• Thông tin thị giác được chuyển đến decoder, nơi diễn giải hình ảnh dựa trên kiến thức của model ngôn ngữ đã được huấn luyện trước.

VisualGPT là một ví dụ điển hình về model sử dụng kỹ thuật này. Model có một tính năng đặc biệt gọi là đơn vị kích hoạt tự phục hồi (SRAU), giúp model tránh một vấn đề phổ biến gọi là tiêu biến gradient. Tiêu biến gradient có thể khiến model mất thông tin quan trọng trong quá trình huấn luyện, nhưng SRAU giúp duy trì hiệu suất cao của model.

Hình 4. Kiến trúc model VisualGPT.

Ứng dụng của mô hình ngôn ngữ thị giác#

Mô hình ngôn ngữ thị giác đang tạo ảnh hưởng đến nhiều ngành công nghiệp. Từ việc cải thiện nền tảng thương mại điện tử đến giúp Internet dễ tiếp cận hơn, các ứng dụng tiềm năng của VLMs rất đáng chú ý. Hãy cùng khám phá một số ứng dụng.

Tạo mô tả sản phẩm#

Khi mua sắm trực tuyến, bạn sẽ thấy mô tả chi tiết cho từng sản phẩm, nhưng việc tạo những mô tả đó có thể tốn nhiều thời gian. VLMs đơn giản hóa quy trình này bằng cách tự động tạo mô tả. Các nhà bán lẻ trực tuyến có thể dùng mô hình ngôn ngữ thị giác để trực tiếp tạo mô tả chi tiết và chính xác từ hình ảnh sản phẩm.

Mô tả sản phẩm chất lượng cao giúp công cụ tìm kiếm nhận diện sản phẩm dựa trên các thuộc tính cụ thể được đề cập trong mô tả. Ví dụ, mô tả có cụm từ "tay áo dài" và "cổ cotton" giúp khách hàng tìm "áo sơ mi cotton tay dài" dễ dàng hơn. Mô tả cũng giúp khách hàng nhanh chóng tìm được sản phẩm mong muốn, từ đó tăng doanh số và mức độ hài lòng của khách hàng.

Hình 5. Ví dụ về mô tả sản phẩm do AI tạo.

Các model AI tạo sinh, chẳng hạn như BLIP-2, là những ví dụ về VLM tiên tiến có thể dự đoán trực tiếp thuộc tính sản phẩm từ hình ảnh. BLIP-2 sử dụng một số thành phần để hiểu và mô tả chính xác các sản phẩm thương mại điện tử. Trước tiên, model xử lý và hiểu các khía cạnh thị giác của sản phẩm bằng encoder ảnh. Sau đó, transformer truy vấn diễn giải thông tin thị giác này trong ngữ cảnh của các câu hỏi hoặc tác vụ cụ thể. Cuối cùng, một mô hình ngôn ngữ lớn tạo mô tả sản phẩm chi tiết và chính xác.

Giúp Internet dễ tiếp cận hơn#

Mô hình ngôn ngữ thị giác có thể giúp Internet dễ tiếp cận hơn thông qua tính năng tạo chú thích ảnh, đặc biệt là với người khiếm thị. Theo cách truyền thống, người dùng cần nhập mô tả nội dung hình ảnh trên website và mạng xã hội. Chẳng hạn, khi đăng bài trên Instagram, bạn có thể thêm văn bản thay thế để trình đọc màn hình sử dụng. Tuy nhiên, VLMs có thể tự động hóa quy trình này.

Khi VLM nhìn thấy hình ảnh một con mèo đang ngồi trên ghế sofa, model có thể tạo chú thích "Một con mèo đang ngồi trên ghế sofa", giúp người dùng khiếm thị hình dung rõ khung cảnh. VLMs sử dụng các kỹ thuật như prompting few-shot, trong đó model học từ một vài cặp hình ảnh-chú thích, và prompting chuỗi suy luận, giúp model phân tích các khung cảnh phức tạp một cách logic. Những kỹ thuật này giúp chú thích được tạo ra mạch lạc và chi tiết hơn.

Hình 6. Dùng AI để tạo chú thích ảnh.

Để thực hiện điều này, tính năng "Nhận mô tả hình ảnh từ Google" của Google trong Chrome tự động tạo mô tả cho hình ảnh không có văn bản thay thế. Dù các mô tả do AI tạo có thể không chi tiết bằng mô tả do con người viết, chúng vẫn cung cấp thông tin hữu ích.

Ưu điểm và hạn chế của mô hình ngôn ngữ thị giác#

Mô hình ngôn ngữ thị giác (VLMs) mang lại nhiều ưu điểm nhờ kết hợp dữ liệu thị giác và dữ liệu văn bản. Một số lợi ích chính bao gồm:

• Tương tác người-máy tốt hơn: Cho phép hệ thống hiểu và phản hồi cả đầu vào hình ảnh lẫn văn bản, cải thiện trợ lý ảo, chatbot và robot.
• Chẩn đoán và phân tích nâng cao: Hỗ trợ lĩnh vực y tế bằng cách phân tích hình ảnh và tạo mô tả, cung cấp ý kiến thứ hai cho chuyên gia y tế và phát hiện bất thường.
• Kể chuyện tương tác và giải trí: Tạo các câu chuyện hấp dẫn bằng cách kết hợp đầu vào hình ảnh và văn bản nhằm cải thiện trải nghiệm người dùng trong trò chơi và thực tế ảo.

Dù có nhiều khả năng ấn tượng, mô hình ngôn ngữ thị giác cũng có một số hạn chế. Dưới đây là những điểm cần lưu ý về VLMs:

• Yêu cầu tính toán cao: Việc huấn luyện và triển khai VLM đòi hỏi tài nguyên tính toán đáng kể, khiến quá trình này tốn kém và khó tiếp cận hơn.
• Phụ thuộc dữ liệu và thiên lệch: VLM có thể tạo ra kết quả thiên lệch nếu được huấn luyện trên các bộ dữ liệu thiên lệch hoặc thiếu tính đa dạng, qua đó duy trì định kiến và thông tin sai lệch.
• Khả năng hiểu ngữ cảnh hạn chế: VLM có thể gặp khó khăn khi nắm bắt bức tranh tổng thể hoặc ngữ cảnh, dẫn đến đầu ra quá đơn giản hóa hoặc không chính xác.

Điểm chính cần ghi nhớ#

Các Mô hình Thị giác-Ngôn ngữ có tiềm năng đáng kể trong nhiều lĩnh vực như thương mại điện tử và y tế. Bằng cách kết hợp dữ liệu hình ảnh và văn bản, các model này có thể thúc đẩy đổi mới và chuyển đổi các ngành. Tuy nhiên, điều thiết yếu là phát triển các công nghệ này một cách có trách nhiệm và đạo đức để đảm bảo chúng được sử dụng công bằng. Khi VLM tiếp tục phát triển, chúng sẽ cải thiện các tác vụ như tìm kiếm dựa trên hình ảnh và công nghệ hỗ trợ.

Để tiếp tục tìm hiểu về AI, hãy kết nối với cộng đồng của chúng tôi! Khám phá repository GitHub để xem cách chúng tôi ứng dụng AI tạo ra các giải pháp đổi mới trong những ngành như sản xuất và y tế.