Tìm hiểu về các model ngôn ngữ-thị giác và ứng dụng của chúng

Trong một bài viết trước, chúng ta đã tìm hiểu cách GPT-4o có thể hiểu và mô tả hình ảnh bằng từ ngữ. Chúng ta cũng đang thấy khả năng này trong các model mới khác như Google Gemini và Claude 3. Hôm nay, chúng ta sẽ tìm hiểu sâu hơn về khái niệm này để giải thích cách các Mô hình Ngôn ngữ-Thị giác hoạt động và cách chúng kết hợp dữ liệu hình ảnh với dữ liệu văn bản.

Các model này có thể được sử dụng để thực hiện nhiều tác vụ ấn tượng, chẳng hạn như tạo chú thích chi tiết cho ảnh, trả lời câu hỏi về hình ảnh và thậm chí tạo nội dung trực quan mới dựa trên mô tả bằng văn bản. Bằng cách tích hợp liền mạch thông tin trực quan và ngôn ngữ, các Mô hình Ngôn ngữ-Thị giác đang thay đổi cách chúng ta tương tác với công nghệ và hiểu thế giới xung quanh.

Cách các model ngôn ngữ-thị giác hoạt động#

Trước khi tìm hiểu Mô hình Ngôn ngữ-Thị giác (VLMs) có thể được sử dụng ở đâu, hãy cùng tìm hiểu chúng là gì và hoạt động như thế nào. VLMs là các model AI tiên tiến kết hợp khả năng của model thị giác và model ngôn ngữ để xử lý cả hình ảnh lẫn văn bản. Các model này tiếp nhận hình ảnh cùng với phần mô tả bằng văn bản và học cách liên kết hai loại dữ liệu này. Phần thị giác của model nắm bắt các chi tiết từ hình ảnh, trong khi phần ngôn ngữ hiểu văn bản. Sự phối hợp này cho phép VLMs hiểu và phân tích cả hình ảnh lẫn văn bản.

Dưới đây là các khả năng chính của Mô hình Ngôn ngữ-Thị giác:

• Tạo chú thích hình ảnh: Tạo văn bản mô tả dựa trên nội dung của hình ảnh.
• Trả lời câu hỏi trực quan (VQA): Trả lời các câu hỏi liên quan đến nội dung của một hình ảnh.
• Tạo hình ảnh từ văn bản: Tạo hình ảnh dựa trên các mô tả bằng văn bản.
• Truy xuất hình ảnh-văn bản: Tìm các hình ảnh liên quan đến một truy vấn văn bản nhất định và ngược lại.
• Tạo nội dung đa phương thức: Kết hợp hình ảnh và văn bản để tạo nội dung mới.
• Hiểu cảnh và phát hiện đối tượng: Xác định và phân loại các đối tượng cũng như chi tiết trong một hình ảnh.

Hình 1. Ví dụ về các khả năng của một model ngôn ngữ-thị giác.

Tiếp theo, hãy cùng tìm hiểu các kiến trúc VLM phổ biến và kỹ thuật học được sử dụng bởi những model nổi tiếng như CLIP, SimVLM và VisualGPT.

Học tương phản#

Học tương phản là một kỹ thuật giúp các model học bằng cách so sánh sự khác biệt giữa các điểm dữ liệu. Kỹ thuật này tính toán mức độ tương đồng hoặc khác biệt giữa các mẫu và hướng đến việc tối thiểu hóa contrastive loss, đại lượng đo lường những khác biệt này. Kỹ thuật đặc biệt hữu ích trong học bán giám sát, trong đó một tập nhỏ các ví dụ đã gán nhãn hướng dẫn model gán nhãn cho dữ liệu mới chưa từng thấy. Ví dụ, để hiểu một con mèo trông như thế nào, model so sánh nó với các hình ảnh tương tự về mèo và hình ảnh về chó. Bằng cách xác định các đặc trưng như cấu trúc khuôn mặt, kích thước cơ thể và bộ lông, các kỹ thuật học tương phản có thể phân biệt mèo với chó.

Hình 2. Cách học tương phản hoạt động.

CLIP là một Mô hình Ngôn ngữ-Thị giác sử dụng học tương phản để ghép các mô tả văn bản với hình ảnh. Model hoạt động qua ba bước đơn giản. Đầu tiên, model huấn luyện các thành phần có khả năng hiểu cả văn bản và hình ảnh. Thứ hai, model chuyển đổi các danh mục trong một dataset thành các mô tả văn bản. Thứ ba, model xác định mô tả phù hợp nhất cho một hình ảnh nhất định. Nhờ phương pháp này, model CLIP có thể đưa ra dự đoán chính xác ngay cả với những tác vụ mà model chưa được huấn luyện chuyên biệt.

PrefixLM#

PrefixLM là một kỹ thuật Xử lý Ngôn ngữ Tự nhiên (NLP) được sử dụng để huấn luyện các model. Kỹ thuật bắt đầu với một phần của câu (prefix) và học cách dự đoán từ tiếp theo. Trong các Mô hình Ngôn ngữ-Thị giác, PrefixLM giúp model dự đoán các từ tiếp theo dựa trên một hình ảnh và một đoạn văn bản được cung cấp. Kỹ thuật sử dụng Vision Transformer (ViT), chia hình ảnh thành các patch nhỏ, mỗi patch đại diện cho một phần của hình ảnh, rồi xử lý chúng theo thứ tự.

Hình 3. Ví dụ về huấn luyện một VLM sử dụng kỹ thuật PrefixLM.

SimVLM là một VLM sử dụng kỹ thuật học PrefixLM. Model này sử dụng kiến trúc Transformer đơn giản hơn so với các model trước đó nhưng đạt kết quả tốt hơn trong nhiều bài kiểm thử. Kiến trúc model bao gồm việc học cách liên kết hình ảnh với các tiền tố văn bản bằng một transformer encoder, sau đó tạo văn bản bằng một transformer decoder.

Kết hợp đa phương thức với cơ chế chú ý chéo#

Kết hợp đa phương thức với cơ chế chú ý chéo là một kỹ thuật cải thiện khả năng hiểu và xử lý dữ liệu trực quan của một Mô hình Ngôn ngữ-Thị giác đã được pre-trained. Kỹ thuật hoạt động bằng cách thêm các lớp chú ý chéo vào model, cho phép model đồng thời tập trung vào thông tin trực quan và thông tin văn bản.

Cách hoạt động như sau:

• Các đối tượng chính trong hình ảnh được xác định và làm nổi bật.
• Các đối tượng được làm nổi bật được xử lý bởi một visual encoder, chuyển đổi thông tin trực quan sang định dạng mà model có thể hiểu.
• Thông tin trực quan được truyền đến một decoder, trình này diễn giải hình ảnh bằng kiến thức của language model đã được pre-trained.

VisualGPT là một ví dụ điển hình về model sử dụng kỹ thuật này. Model bao gồm một tính năng đặc biệt gọi là self-resurrecting activation unit (SRAU), giúp tránh một vấn đề phổ biến gọi là vanishing gradients. Vanishing gradients có thể khiến model mất thông tin quan trọng trong quá trình huấn luyện, nhưng SRAU giúp duy trì hiệu suất ổn định cho model.

Hình 4. Kiến trúc model VisualGPT.

Các ứng dụng của model ngôn ngữ-thị giác#

Các Mô hình Ngôn ngữ-Thị giác đang tạo ra ảnh hưởng trong nhiều ngành. Từ việc nâng cao các nền tảng thương mại điện tử đến giúp Internet trở nên dễ tiếp cận hơn, các ứng dụng tiềm năng của VLMs rất đáng chú ý. Hãy cùng khám phá một số ứng dụng trong đó.

Tạo mô tả sản phẩm#

Khi mua sắm trực tuyến, bạn thấy các mô tả chi tiết về từng sản phẩm, nhưng việc tạo những mô tả đó có thể tốn nhiều thời gian. VLMs tối ưu hóa quy trình này bằng cách tự động hóa việc tạo mô tả. Các nhà bán lẻ trực tuyến có thể trực tiếp tạo mô tả chi tiết và chính xác từ hình ảnh sản phẩm bằng Mô hình Ngôn ngữ-Thị giác.

Mô tả sản phẩm chất lượng cao giúp công cụ tìm kiếm xác định sản phẩm dựa trên các thuộc tính cụ thể được đề cập trong mô tả. Ví dụ, một mô tả chứa "dài tay" và "cổ cotton" giúp khách hàng tìm thấy "áo sơ mi cotton dài tay" dễ dàng hơn. Điều này cũng giúp khách hàng nhanh chóng tìm được thứ họ muốn, từ đó tăng doanh số và mức độ hài lòng của khách hàng.

Hình 5. Ví dụ về mô tả sản phẩm do AI tạo.

Các model AI tạo sinh, chẳng hạn như BLIP-2, là những ví dụ về VLMs tiên tiến có thể dự đoán trực tiếp các thuộc tính sản phẩm từ hình ảnh. BLIP-2 sử dụng nhiều thành phần để hiểu và mô tả chính xác các sản phẩm thương mại điện tử. Model bắt đầu bằng việc xử lý và hiểu các khía cạnh trực quan của sản phẩm thông qua image encoder. Sau đó, một querying transformer diễn giải thông tin trực quan này trong ngữ cảnh của các câu hỏi hoặc tác vụ cụ thể. Cuối cùng, một large language model tạo ra các mô tả sản phẩm chi tiết và chính xác.

Giúp Internet dễ tiếp cận hơn#

Các Mô hình Ngôn ngữ-Thị giác có thể giúp Internet trở nên dễ tiếp cận hơn thông qua việc tạo chú thích hình ảnh, đặc biệt đối với người khiếm thị. Theo cách truyền thống, người dùng cần nhập mô tả về nội dung trực quan trên website và mạng xã hội. Ví dụ, khi đăng bài trên Instagram, bạn có thể thêm văn bản thay thế cho trình đọc màn hình. Tuy nhiên, VLMs có thể tự động hóa quy trình này.

Khi VLM nhìn thấy hình ảnh một con mèo đang ngồi trên ghế sofa, model có thể tạo chú thích "Một con mèo ngồi trên ghế sofa", giúp người dùng khiếm thị hiểu rõ cảnh vật. VLMs sử dụng các kỹ thuật như few-shot prompting, trong đó model học từ một vài ví dụ về cặp hình ảnh-chú thích, và chain-of-thought prompting, giúp model phân tách các cảnh phức tạp một cách logic. Những kỹ thuật này làm cho các chú thích được tạo ra mạch lạc và chi tiết hơn.

Hình 6. Sử dụng AI để tạo chú thích hình ảnh.

Với mục đích này, tính năng "Nhận mô tả hình ảnh từ Google" của Google trong Chrome sẽ tự động tạo mô tả cho các hình ảnh không có alt text. Mặc dù những mô tả do AI tạo ra này có thể không chi tiết bằng mô tả do con người viết, chúng vẫn cung cấp thông tin hữu ích.

Lợi ích và hạn chế của Mô hình Ngôn ngữ-Thị giác#

Mô hình Ngôn ngữ-Thị giác (VLMs) mang lại nhiều lợi ích nhờ kết hợp dữ liệu trực quan và dữ liệu văn bản. Một số lợi ích chính gồm:

• Tương tác người-máy tốt hơn: Cho phép các hệ thống hiểu và phản hồi cả đầu vào trực quan lẫn văn bản, cải thiện trợ lý ảo, chatbot và robot.
• Chẩn đoán và phân tích nâng cao: Hỗ trợ lĩnh vực y tế bằng cách phân tích hình ảnh và tạo mô tả, hỗ trợ chuyên gia y tế đưa ra ý kiến thứ hai và phát hiện bất thường.
• Kể chuyện tương tác và giải trí: Tạo các câu chuyện hấp dẫn bằng cách kết hợp đầu vào trực quan và văn bản để cải thiện trải nghiệm người dùng trong game và thực tế ảo.

Mặc dù có những khả năng ấn tượng, Mô hình Ngôn ngữ-Thị giác cũng đi kèm một số hạn chế. Dưới đây là những điều cần lưu ý khi sử dụng VLMs:

• Yêu cầu tính toán cao: Việc huấn luyện và triển khai VLMs yêu cầu tài nguyên tính toán đáng kể, khiến chúng tốn kém và khó tiếp cận hơn.
• Phụ thuộc dữ liệu và thiên kiến: VLMs có thể tạo ra kết quả thiên lệch nếu được huấn luyện trên các dataset thiếu đa dạng hoặc mang thiên kiến, từ đó duy trì định kiến và thông tin sai lệch.
• Hiểu ngữ cảnh hạn chế: VLMs có thể gặp khó khăn trong việc hiểu bức tranh hoặc ngữ cảnh tổng thể, đồng thời tạo ra đầu ra quá đơn giản hóa hoặc không chính xác.

Những điểm chính#

Mô hình Ngôn ngữ-Thị giác có tiềm năng to lớn trong nhiều lĩnh vực, chẳng hạn như thương mại điện tử và chăm sóc sức khỏe. Bằng cách kết hợp dữ liệu trực quan và văn bản, chúng có thể thúc đẩy đổi mới và chuyển đổi các ngành. Tuy nhiên, việc phát triển những công nghệ này một cách có trách nhiệm và đạo đức là điều thiết yếu để đảm bảo chúng được sử dụng công bằng. Khi VLMs tiếp tục phát triển, chúng sẽ cải thiện các tác vụ như tìm kiếm dựa trên hình ảnh và công nghệ hỗ trợ.

Để tiếp tục tìm hiểu về AI, hãy kết nối với cộng đồng của chúng tôi! Khám phá repository GitHub để xem cách chúng tôi sử dụng AI nhằm tạo ra các giải pháp đổi mới trong những ngành như sản xuất và chăm sóc sức khỏe. 🚀