FastVLM: Apple giới thiệu model thị giác-ngôn ngữ tốc độ cao mới

Tại hội nghị CVPR 2025, Apple giới thiệu một model AI mã nguồn mở mới có tên FastVLM. Model được thiết kế để hiểu cả hình ảnh lẫn ngôn ngữ và chạy trên các thiết bị Apple như iPhone, iPad và Mac. Nhờ đó, model có thể nhanh chóng đưa ra kết quả thông minh mà không cần gửi dữ liệu của bạn lên cloud.

Điểm đặc biệt đáng chú ý của FastVLM là tốc độ và hiệu quả cao. Apple phát triển một vision encoder mới có tên FastViTHD, giúp model diễn giải hình ảnh chất lượng cao trong khi sử dụng ít bộ nhớ và năng lượng hơn. Mọi quá trình xử lý đều diễn ra cục bộ trên thiết bị, giúp phản hồi nhanh hơn đồng thời bảo vệ quyền riêng tư của người dùng.

Trong bài viết này, chúng ta sẽ tìm hiểu cách FastVLM hoạt động, điểm khác biệt của model này và lý do bản phát hành của Apple có thể là một bước tiến đáng kể cho các ứng dụng AI hằng ngày trên thiết bị của bạn.

Tìm hiểu về các model ngôn ngữ-thị giác (VLM)#

Trước khi tìm hiểu điều gì khiến FastVLM đặc biệt, hãy cùng xem “VLM” trong tên gọi này có nghĩa là gì. Đây là một model ngôn ngữ-thị giác, được thiết kế để hiểu và kết nối nội dung hình ảnh với ngôn ngữ.

VLM kết hợp khả năng hiểu hình ảnh và ngôn ngữ, cho phép thực hiện các tác vụ như mô tả ảnh, trả lời câu hỏi về ảnh chụp màn hình hoặc trích xuất văn bản từ tài liệu. Model ngôn ngữ-thị giác thường hoạt động qua hai phần: một phần xử lý hình ảnh và chuyển đổi hình ảnh thành dữ liệu, trong khi phần còn lại diễn giải dữ liệu đó để tạo câu trả lời mà bạn có thể đọc hoặc nghe.

Có thể bạn đã sử dụng loại cải tiến AI này mà không hề nhận ra. Các ứng dụng quét hóa đơn, đọc thẻ căn cước, tạo chú thích cho hình ảnh hoặc hỗ trợ người khiếm thị tương tác với màn hình thường dựa vào các model ngôn ngữ-thị giác chạy ngầm.

FastVLM là gì?#

Apple xây dựng FastVLM để thực hiện các tác vụ tương tự những model ngôn ngữ-thị giác khác, nhưng với tốc độ cao hơn, quyền riêng tư tốt hơn và hiệu năng được tối ưu cho chính các thiết bị của hãng. Model có thể hiểu nội dung hình ảnh và phản hồi bằng văn bản, nhưng khác với nhiều model dựa vào máy chủ đám mây, FastVLM có thể chạy hoàn toàn trên iPhone, iPad hoặc Mac của bạn.

VLM thường hoạt động tốt hơn với hình ảnh độ phân giải cao. Ví dụ, như minh họa bên dưới, FastVLM chỉ có thể nhận diện chính xác biển báo đường phố là “Cấm vào” khi được cung cấp phiên bản độ phân giải cao của hình ảnh. Tuy nhiên, đầu vào độ phân giải cao thường khiến model chạy chậm hơn. FastViTHD giúp giải quyết vấn đề này.

Hình 1. Hiệu năng của FastVLM trên hình ảnh độ phân giải thấp và cao. (Nguồn)

FastViTHD, bộ mã hóa thị giác mới của Apple, giúp FastVLM xử lý hình ảnh chất lượng cao hiệu quả hơn, đồng thời sử dụng ít bộ nhớ và năng lượng hơn. Cụ thể, FastViTHD đủ nhẹ để chạy mượt mà ngay cả trên các thiết bị nhỏ hơn.

Ngoài ra, FastVLM được cung cấp công khai trên kho GitHub FastVLM, nơi nhà phát triển có thể truy cập mã nguồn, chỉnh sửa và sử dụng trong ứng dụng của riêng mình theo các điều khoản cấp phép của Apple.

So sánh FastVLM với các model VLM khác#

So với các model ngôn ngữ-thị giác khác, FastVLM được tối ưu để chạy trên các thiết bị phổ thông như điện thoại thông minh và máy tính xách tay. Trong các bài kiểm tra hiệu năng, FastVLM tạo ra từ hoặc đầu ra đầu tiên nhanh hơn tới 85 lần so với các model như LLaVA-OneVision-0.5B.

Hình 2. So sánh hiệu năng của FastVLM với các model khác. (Nguồn)

Dưới đây là một số benchmark tiêu chuẩn mà FastVLM đã được đánh giá:

• DocVQA (Hỏi đáp trực quan trên tài liệu): Benchmark hỏi đáp trực quan này đánh giá khả năng đọc và hiểu thông tin dạng văn bản trong tài liệu của model, chẳng hạn như biểu mẫu hoặc trang được quét.
• TextVQA (Hỏi đáp trực quan dựa trên văn bản): Benchmark này đánh giá khả năng diễn giải hình ảnh có chứa văn bản và trả lời chính xác các câu hỏi liên quan của model.
• GQA: Nhiệm vụ này kiểm tra khả năng suy luận của model bằng cách yêu cầu model hiểu mối quan hệ giữa các vật thể và khung cảnh trong ảnh.
• MMMU (Hiểu đa phương thức đa ngành quy mô lớn): Benchmark này đo lường hiệu năng của model trên nhiều lĩnh vực học thuật và định dạng, kết hợp khả năng hiểu hình ảnh và văn bản.
• SEED-Bench: Benchmark này đánh giá năng lực tổng quát của model trong việc hiểu hình ảnh và suy luận trên nhiều lĩnh vực.

Trên các benchmark này, FastVLM đạt kết quả cạnh tranh trong khi sử dụng ít tài nguyên hơn. Model mang AI thị giác thiết thực đến các thiết bị hằng ngày như điện thoại, máy tính bảng và laptop.

Bộ mã hóa thị giác hiệu quả của FastVLM: FastViTHD#

Tiếp theo, hãy cùng tìm hiểu kỹ hơn về FastViTHD, bộ mã hóa thị giác đóng vai trò quan trọng trong hiệu năng xử lý hình ảnh của FastVLM.

Hầu hết model ngôn ngữ-thị giác chia hình ảnh thành hàng nghìn mảnh nhỏ gọi là token. Càng nhiều token, model càng cần nhiều thời gian và năng lượng để hiểu hình ảnh. Điều này có thể khiến quá trình xử lý chậm, đặc biệt trên điện thoại hoặc laptop.

Hình 3. Cách bộ mã hóa thị giác xử lý hình ảnh. (Nguồn)

FastViTHD tránh tình trạng chậm do xử lý quá nhiều token bằng cách sử dụng ít token hơn mà vẫn hiểu toàn bộ hình ảnh. Model kết hợp hai phương pháp: transformer, có khả năng mô hình hóa các mẫu và mối quan hệ, cùng lớp tích chập, giúp xử lý dữ liệu hình ảnh hiệu quả. Kết quả là một hệ thống hoạt động nhanh hơn và sử dụng ít bộ nhớ hơn.

Theo Apple, FastViTHD có kích thước nhỏ hơn tới 3,4 lần so với một số bộ mã hóa thị giác truyền thống mà vẫn duy trì độ chính xác cao. Thay vì dựa vào các kỹ thuật tối ưu hóa model như cắt tỉa token (loại bỏ các patch hình ảnh ít quan trọng hơn để tăng tốc quá trình xử lý), FastViTHD đạt hiệu quả nhờ kiến trúc đơn giản và tinh gọn hơn.

Các biến thể model và pipeline huấn luyện của FastVLM#

Apple phát hành FastVLM với ba kích thước khác nhau: 0.5B, 1.5B và 7B tham số (trong đó “B” là viết tắt của billion, chỉ số lượng trọng số có thể huấn luyện trong model). Mỗi phiên bản được thiết kế cho những loại thiết bị khác nhau. Các model nhỏ hơn có thể chạy trên điện thoại và máy tính bảng, còn model 7B lớn hơn phù hợp với máy tính để bàn hoặc các tác vụ đòi hỏi cao hơn.

Điều này giúp nhà phát triển linh hoạt lựa chọn giải pháp phù hợp nhất với ứng dụng của mình. Họ có thể xây dựng ứng dụng gọn nhẹ, tốc độ cao cho thiết bị di động hoặc ứng dụng phức tạp hơn cho các hệ thống lớn, đồng thời vẫn sử dụng cùng một kiến trúc model nền tảng.

Apple đã huấn luyện các biến thể model FastVLM bằng pipeline LLaVA‑1.5, một framework để căn chỉnh các model ngôn ngữ và thị giác. Đối với thành phần ngôn ngữ, họ đánh giá FastVLM bằng các model mã nguồn mở hiện có như Qwen và Vicuna, vốn nổi tiếng với khả năng tạo văn bản tự nhiên, mạch lạc. Cấu hình này cho phép FastVLM xử lý cả hình ảnh đơn giản lẫn phức tạp và tạo ra phản hồi dễ đọc, phù hợp.

Ý nghĩa của FastVLM: cách tiếp cận AI hiệu quả của Apple#

Có thể bạn đang thắc mắc vì sao việc xử lý hình ảnh hiệu quả của FastVLM lại quan trọng. Điều này phụ thuộc vào khả năng ứng dụng hoạt động mượt mà theo thời gian thực mà không cần dựa vào đám mây. FastVLM có thể xử lý hình ảnh độ phân giải cao, lên đến 1152 x 1152 pixel, đồng thời vẫn đủ nhanh và nhẹ để chạy trực tiếp trên thiết bị của bạn.

Điều này cho phép ứng dụng mô tả những gì camera nhìn thấy, quét hóa đơn ngay khi được chụp hoặc phản hồi các thay đổi trên màn hình, đồng thời giữ mọi dữ liệu trên thiết bị. Tính năng này đặc biệt hữu ích trong các lĩnh vực như giáo dục, khả năng tiếp cận, năng suất và nhiếp ảnh.

FastViTHD hoạt động hiệu quả ngay cả với hình ảnh lớn, giúp thiết bị duy trì khả năng phản hồi và không bị nóng. Bộ mã hóa này tương thích với mọi kích thước model, kể cả model nhỏ nhất chạy trên các iPhone phổ thông. Nhờ đó, các tính năng AI tương tự có thể hoạt động trên điện thoại, máy tính bảng và Mac.

Các ứng dụng của FastVLM#

FastVLM có thể hỗ trợ nhiều ứng dụng nhờ những lợi ích chính như tốc độ, hiệu quả và quyền riêng tư ngay trên thiết bị. Dưới đây là một số cách sử dụng:

• Đọc tài liệu: Model có thể quét hóa đơn, biểu mẫu hoặc thẻ căn cước và chỉ trích xuất thông tin cần thiết. Model có thể tập trung vào các khu vực cụ thể trong hình ảnh, rất hữu ích cho những ứng dụng cần trích xuất văn bản nhanh và chính xác.
• Chú thích hình ảnh: Bằng cách phân tích ảnh, model có thể tạo mô tả rõ ràng về nội dung trong ảnh. Tính năng này hỗ trợ các chức năng trong ứng dụng camera, thư viện ảnh hoặc bất kỳ công cụ nào cần khả năng hiểu hình ảnh theo thời gian thực.
• Hỗ trợ khả năng tiếp cận: FastVLM có thể mô tả nội dung trên màn hình cho người mù hoặc khiếm thị, giúp họ dễ điều hướng và sử dụng nút, menu cũng như các thành phần bố cục hơn.
• Trợ lý AI trên thiết bị: FastVLM có thể hoạt động hiệu quả với các trợ lý AI cần nhanh chóng hiểu nội dung trên màn hình. Vì chạy trực tiếp trên thiết bị và giữ dữ liệu riêng tư, model có thể hỗ trợ các tác vụ như đọc văn bản, nhận diện nút hoặc biểu tượng và hướng dẫn người dùng theo thời gian thực mà không cần gửi thông tin lên đám mây.

Hình 4. FastVLM có thể được sử dụng để nhận diện văn bản và hỏi đáp trực quan. (Nguồn)

Điểm chính cần ghi nhớ#

FastVLM đưa AI ngôn ngữ-thị giác chạy trên thiết bị đến các thiết bị Apple, kết hợp tốc độ, quyền riêng tư và hiệu quả. Với thiết kế gọn nhẹ và bản phát hành nguồn mở, FastVLM cho phép hiểu hình ảnh theo thời gian thực trong các ứng dụng di động và máy tính để bàn.

Điều này giúp AI trở nên thiết thực và dễ tiếp cận hơn trong sử dụng hằng ngày, đồng thời cung cấp cho nhà phát triển nền tảng vững chắc để xây dựng các ứng dụng hữu ích, chú trọng quyền riêng tư. Trong tương lai, các model ngôn ngữ-thị giác nhiều khả năng sẽ đóng vai trò quan trọng trong cách chúng ta tương tác với công nghệ, giúp AI phản hồi nhanh hơn, nhận biết ngữ cảnh tốt hơn và hữu ích hơn trong những tình huống thường ngày.

Khám phá kho GitHub của chúng tôi để tìm hiểu thêm về AI. Tham gia cộng đồng năng động và khám phá các cải tiến trong những lĩnh vực như AI trong ngành ô tô và AI thị giác trong sản xuất. Để bắt đầu với thị giác máy tính ngay hôm nay, hãy xem các tùy chọn cấp phép của chúng tôi.