PaliGemma 2 của Google: Tìm hiểu về các model VLM tiên tiến

Ngày 5 tháng 12 năm 2024, Google giới thiệu PaliGemma 2, phiên bản mới nhất của model thị giác-ngôn ngữ (VLM). PaliGemma 2 được thiết kế để xử lý các tác vụ kết hợp hình ảnh và văn bản, chẳng hạn như tạo chú thích, trả lời câu hỏi trực quan và phát hiện đối tượng trong hình ảnh.

Được phát triển dựa trên PaliGemma ban đầu, vốn đã là một công cụ mạnh về tạo chú thích đa ngôn ngữ và nhận diện đối tượng, PaliGemma 2 mang đến một số cải tiến quan trọng. Những cải tiến này bao gồm các kích thước model lớn hơn, hỗ trợ ảnh có độ phân giải cao hơn và hiệu suất tốt hơn trên các tác vụ thị giác phức tạp. Các nâng cấp này giúp model linh hoạt và hiệu quả hơn nữa trong nhiều mục đích sử dụng.

Trong bài viết này, chúng ta sẽ tìm hiểu kỹ hơn về PaliGemma 2, bao gồm cách model hoạt động, các tính năng chính và những ứng dụng mà model phát huy hiệu quả.

Từ Gemma 2 đến PaliGemma 2#

PaliGemma 2 được xây dựng dựa trên hai công nghệ chủ chốt: bộ mã hóa thị giác SigLIP và model ngôn ngữ Gemma 2. Bộ mã hóa SigLIP xử lý dữ liệu hình ảnh như ảnh hoặc video và phân tách dữ liệu thành các đặc trưng để model phân tích. Trong khi đó, Gemma 2 xử lý văn bản, cho phép model hiểu và tạo ngôn ngữ đa ngôn ngữ. Kết hợp lại, chúng tạo thành một VLM được thiết kế để diễn giải và kết nối thông tin hình ảnh với thông tin văn bản.

Khả năng mở rộng và tính linh hoạt khiến PaliGemma 2 trở thành một bước tiến lớn. Khác với phiên bản ban đầu, PaliGemma 2 có ba kích thước - 3 tỷ (3B), 10 tỷ (10B) và 28 tỷ (28B) tham số. Có thể xem các tham số này như những thiết lập bên trong model, giúp model học và xử lý dữ liệu hiệu quả. Model cũng hỗ trợ nhiều độ phân giải hình ảnh khác nhau (ví dụ: 224 x 224 pixel cho các tác vụ nhanh và 896 x 896 cho phân tích chi tiết), nhờ đó có thể thích ứng với nhiều ứng dụng.

Hình 1. Tổng quan về PaliGemma 2.

Việc tích hợp các khả năng ngôn ngữ tiên tiến của Gemma 2 với khả năng xử lý hình ảnh của SigLIP giúp PaliGemma 2 mạnh mẽ hơn đáng kể. Model có thể xử lý các tác vụ như:

• Tạo chú thích cho hình ảnh hoặc video: Model có thể tạo mô tả bằng văn bản chi tiết về nội dung thị giác, rất hữu ích để tự động tạo chú thích.
• Trả lời câu hỏi trực quan: PaliGemma 2 có thể trả lời câu hỏi dựa trên hình ảnh, chẳng hạn như xác định đối tượng, con người hoặc hành động trong một khung cảnh.
• Nhận diện đối tượng: Model xác định và gán nhãn các đối tượng trong hình ảnh, chẳng hạn như phân biệt mèo, bàn hoặc ô tô trong một bức ảnh.

PaliGemma 2 không chỉ xử lý hình ảnh và văn bản riêng biệt - model kết hợp chúng theo những cách có ý nghĩa. Ví dụ, model có thể hiểu mối quan hệ trong một khung cảnh, chẳng hạn như nhận ra “Con mèo đang ngồi trên bàn”, hoặc xác định đối tượng đồng thời bổ sung ngữ cảnh, chẳng hạn như nhận ra một địa danh nổi tiếng.

Cách hoạt động của các model VLM PaliGemma 2 của Google#

Tiếp theo, chúng ta sẽ xem qua một ví dụ sử dụng biểu đồ trong hình bên dưới để hiểu rõ hơn cách PaliGemma 2 xử lý dữ liệu thị giác và văn bản. Giả sử bạn tải biểu đồ này lên và hỏi model: “Biểu đồ này thể hiện điều gì?”

Hình 2. Ví dụ về các khả năng của PaliGemma 2.

Quy trình bắt đầu với bộ mã hóa thị giác SigLIP của PaliGemma 2 để phân tích hình ảnh và trích xuất các đặc trưng chính. Với biểu đồ, quy trình này bao gồm việc xác định các thành phần như trục, điểm dữ liệu và nhãn. Bộ mã hóa được huấn luyện để nắm bắt cả mẫu tổng quát lẫn chi tiết nhỏ. Bộ mã hóa cũng sử dụng nhận dạng ký tự quang học (OCR) để phát hiện và xử lý văn bản được nhúng trong hình ảnh. Các đặc trưng thị giác này được chuyển thành token, tức các biểu diễn số mà model có thể xử lý. Sau đó, các token được điều chỉnh bằng một lớp chiếu tuyến tính, một kỹ thuật đảm bảo chúng có thể kết hợp với dữ liệu văn bản.

Đồng thời, language model Gemma 2 xử lý câu hỏi đi kèm để xác định ý nghĩa và mục đích của câu hỏi. Văn bản trong câu hỏi được chuyển thành token, sau đó kết hợp với các token thị giác từ SigLIP để tạo ra biểu diễn đa phương thức, một định dạng thống nhất liên kết dữ liệu thị giác và văn bản.

Sử dụng biểu diễn tích hợp này, PaliGemma 2 tạo câu trả lời từng bước thông qua giải mã tự hồi quy, một phương pháp trong đó model dự đoán từng phần của câu trả lời dựa trên ngữ cảnh đã xử lý.

Các khả năng chính của PaliGemma 2#

Giờ đây, sau khi đã tìm hiểu cách model hoạt động, hãy cùng khám phá những tính năng chính giúp PaliGemma 2 trở thành một model thị giác-ngôn ngữ đáng tin cậy:

• Tính linh hoạt khi fine-tune: Dễ dàng thích ứng với các dataset và tác vụ cụ thể, hoạt động hiệu quả trong những ứng dụng như tạo chú thích ảnh, suy luận không gian và chẩn đoán hình ảnh y tế.
• Dữ liệu huấn luyện đa dạng: Được huấn luyện trên các dataset như WebLI và Open Images, giúp model có năng lực nhận diện đối tượng mạnh mẽ và khả năng tạo đầu ra đa ngôn ngữ.
• Tích hợp OCR: Tích hợp tính năng nhận dạng ký tự quang học để trích xuất và diễn giải văn bản từ hình ảnh, rất phù hợp cho phân tích tài liệu và các tác vụ dựa trên văn bản khác.
• Đầu ra đa ngôn ngữ: Tạo chú thích và câu trả lời bằng nhiều ngôn ngữ, phù hợp với các ứng dụng toàn cầu.
• Tích hợp với công cụ: Model tương thích với các framework như Hugging Face Transformers, PyTorch và Keras, cho phép triển khai và thử nghiệm dễ dàng.

So sánh PaliGemma 2 và PaliGemma: Có gì cải tiến?#

Xem xét kiến trúc của phiên bản PaliGemma đầu tiên là một cách tốt để nhận thấy những cải tiến của PaliGemma 2. Một trong những thay đổi đáng chú ý nhất là thay model ngôn ngữ Gemma ban đầu bằng Gemma 2, giúp cải thiện đáng kể cả hiệu năng lẫn hiệu quả.

Gemma 2, có các kích thước 2B, 9B và 27B tham số, được thiết kế để đạt độ chính xác và tốc độ hàng đầu trong phân khúc đồng thời giảm chi phí triển khai. Model đạt được điều này nhờ kiến trúc được thiết kế lại, tối ưu hóa hiệu quả suy luận trên nhiều cấu hình phần cứng, từ GPU mạnh mẽ đến các cấu hình dễ tiếp cận hơn.

Hình 3. Nhìn lại phiên bản đầu tiên của PaliGemma.

Nhờ đó, PaliGemma 2 là một model có độ chính xác cao. Phiên bản 10B của PaliGemma 2 đạt điểm Non-Entailment Sentence (NES) thấp hơn, ở mức 20.3 so với 34.3 của model ban đầu, nghĩa là đầu ra có ít lỗi thực tế hơn. Những tiến bộ này giúp PaliGemma 2 có khả năng mở rộng, độ chính xác và tính thích ứng cao hơn trong nhiều ứng dụng, từ tạo chú thích chi tiết đến trả lời câu hỏi trực quan. Các model Gemma 4 mới hơn của Google, chẳng hạn Gemma 4 26B, được so sánh với các model thị giác-ngôn ngữ khác về khả năng phát hiện đối tượng trong thực tế trên Bảng xếp hạng VLM.

Các ứng dụng của PaliGemma 2: Ứng dụng thực tế của các model VLM#

PaliGemma 2 có thể được ứng dụng trong nhiều ngành vì kết hợp khả năng hiểu hình ảnh và ngôn ngữ. Ví dụ, về khả năng tiếp cận, model có thể tạo mô tả chi tiết về các vật thể, cảnh vật và mối quan hệ không gian, hỗ trợ thiết yếu cho người khiếm thị. Khả năng này giúp người dùng hiểu rõ hơn về môi trường xung quanh, từ đó tự chủ hơn trong các công việc hằng ngày.

Hình 4. PaliGemma 2 có thể giúp thế giới trở nên dễ tiếp cận hơn.

Ngoài khả năng tiếp cận, PaliGemma 2 còn tạo ảnh hưởng trong nhiều ngành, bao gồm:

• Thương mại điện tử: Model cải thiện việc phân loại sản phẩm bằng cách phân tích và mô tả các mặt hàng trong hình ảnh, giúp đơn giản hóa việc quản lý hàng tồn kho và cải thiện trải nghiệm tìm kiếm của người dùng.
• Y tế: Model hỗ trợ chuyên gia y tế bằng cách diễn giải hình ảnh y khoa như X-quang và MRI cùng với ghi chú lâm sàng, giúp đưa ra chẩn đoán chính xác và đầy đủ thông tin hơn.
• Giáo dục: PaliGemma 2 hỗ trợ nhà giáo dục tạo tài liệu học tập dễ mô tả và dễ tiếp cận bằng cách tạo chú thích và cung cấp thông tin ngữ cảnh cho hình ảnh.
• Sáng tạo nội dung: Model tự động hóa quá trình tạo chú thích và mô tả hình ảnh cho nội dung đa phương tiện, giúp người sáng tạo tiết kiệm thời gian.

Tự mình trải nghiệm: PaliGemma 2#

Để trải nghiệm PaliGemma 2, bạn có thể bắt đầu với bản demo tương tác của Hugging Face. Bản demo cho phép bạn khám phá các khả năng của model trong những tác vụ như tạo chú thích hình ảnh và hỏi đáp trực quan. Chỉ cần tải ảnh lên, rồi đặt câu hỏi về ảnh hoặc yêu cầu mô tả khung cảnh.

Hình 5. Bản demo PaliGemma 2 (Nguồn: Hugging Face).

Nếu muốn tìm hiểu sâu hơn, dưới đây là cách bạn có thể bắt tay vào thực hành:

• Model được huấn luyện trước: Bạn có thể truy cập các model và mã được huấn luyện trước từ những nền tảng như Hugging Face và Kaggle. Các tài nguyên này cung cấp mọi thứ bạn cần để bắt đầu làm việc với model.
• Notebook: Có tài liệu toàn diện và các notebook ví dụ giúp bạn làm quen với PaliGemma 2. Bạn có thể bắt đầu bằng các ví dụ inference và thử nghiệm fine-tuning model trên dataset của riêng mình cho những tác vụ cụ thể.
• Tích hợp: PaliGemma 2 tương thích với các framework được sử dụng rộng rãi như Hugging Face Transformers, Keras, PyTorch, JAX và Gemma.cpp, cho phép bạn tích hợp model vào quy trình làm việc hiện có.

Ưu và nhược điểm của PaliGemma 2 của Google#

Giờ đây, sau khi đã tìm hiểu cách bắt đầu với PaliGemma 2, hãy cùng xem xét kỹ hơn những điểm mạnh và hạn chế chính cần lưu ý khi sử dụng các model này.

Dưới đây là những điểm giúp PaliGemma 2 nổi bật với vai trò là một model thị giác-ngôn ngữ:

• Tăng hiệu suất: Tận dụng kiến trúc tối ưu của Gemma 2, PaliGemma 2 mang lại hiệu năng cao đồng thời giảm thiểu chi phí triển khai.
• Tính năng an toàn nâng cao: PaliGemma 2 có những cải tiến đáng kể về độ an toàn trong quy trình huấn luyện, chẳng hạn như lọc dữ liệu tiền huấn luyện mạnh mẽ để giảm thiên lệch và đánh giá nghiêm ngặt theo các benchmark an toàn.
• Độ trễ thấp ở các cấu hình nhỏ hơn: Model 3B có thời gian inference nhanh hơn, phù hợp với các trường hợp cần tốc độ cao, chẳng hạn như đề xuất sản phẩm thương mại điện tử hoặc hệ thống hỗ trợ trực tiếp.

Trong khi đó, dưới đây là một số lĩnh vực mà PaliGemma 2 có thể gặp hạn chế:

• Độ trễ: Dù mạnh mẽ, các model lớn hơn có thể gặp vấn đề về độ trễ, đặc biệt khi được triển khai cho những tác vụ cần phản hồi tức thì, chẳng hạn như hệ thống AI tương tác theo thời gian thực.
• Phụ thuộc vào dataset lớn: Hiệu năng của PaliGemma 2 gắn chặt với chất lượng và tính đa dạng của các dataset huấn luyện, điều này có thể hạn chế hiệu quả của model trong những lĩnh vực ít được đại diện hoặc các ngôn ngữ không có trong dữ liệu huấn luyện.
• Yêu cầu tài nguyên cao: Dù đã được tối ưu hóa, các phiên bản có 10B và 28B tham số vẫn đòi hỏi năng lực tính toán đáng kể, khiến các phiên bản này khó tiếp cận hơn với những tổ chức nhỏ có nguồn lực hạn chế.

Điểm chính cần ghi nhớ#

PaliGemma 2 là một bước tiến đáng chú ý trong lĩnh vực mô hình hóa thị giác-ngôn ngữ, mang lại khả năng mở rộng, tính linh hoạt khi fine-tuning và độ chính xác được cải thiện. Model có thể là công cụ hữu ích cho nhiều ứng dụng, từ giải pháp hỗ trợ khả năng tiếp cận và thương mại điện tử đến chẩn đoán y tế và giáo dục.

Dù có một số hạn chế như yêu cầu tính toán và phụ thuộc vào dữ liệu chất lượng cao, những thế mạnh của model khiến PaliGemma 2 trở thành lựa chọn thiết thực để xử lý các tác vụ phức tạp kết hợp dữ liệu hình ảnh và văn bản. PaliGemma 2 có thể tạo nền tảng vững chắc để các nhà nghiên cứu và nhà phát triển khám phá, mở rộng tiềm năng của AI trong các ứng dụng đa phương thức.

Hãy tham gia cuộc trò chuyện về AI bằng cách khám phá kho lưu trữ GitHub và cộng đồng của chúng tôi. Tìm hiểu cách AI đang tạo bước tiến trong nông nghiệp và chăm sóc sức khỏe!