Nâng cao các ứng dụng AI với RAG và thị giác máy tính

Việc sử dụng các công cụ AI như ChatGPT hoặc Gemini đang nhanh chóng trở thành một cách phổ biến để tìm kiếm thông tin. Dù bạn đang soạn tin nhắn, tóm tắt tài liệu hay trả lời câu hỏi, các công cụ này thường mang đến giải pháp nhanh chóng và dễ dàng hơn.

Tuy nhiên, nếu đã sử dụng mô hình ngôn ngữ lớn (LLMs) vài lần, có lẽ bạn đã nhận thấy những hạn chế của chúng. Khi được yêu cầu xử lý các truy vấn rất cụ thể hoặc phụ thuộc vào thời điểm, chúng có thể đưa ra câu trả lời không chính xác, thường với vẻ đầy tự tin.

Điều này xảy ra vì LLM độc lập chỉ dựa vào dữ liệu mà chúng đã được huấn luyện. Chúng không thể truy cập các cập nhật mới nhất hoặc kiến thức chuyên ngành nằm ngoài tập dữ liệu đó. Vì vậy, câu trả lời của chúng có thể lỗi thời hoặc không chính xác.

Để giải quyết vấn đề này, các nhà nghiên cứu đã phát triển một phương pháp gọi là tạo sinh tăng cường truy xuất (RAG). RAG nâng cao các model ngôn ngữ bằng cách cho phép chúng lấy thông tin mới và phù hợp từ các nguồn đáng tin cậy khi phản hồi truy vấn.

Trong bài viết này, chúng ta sẽ tìm hiểu cách RAG hoạt động và cách nó nâng cao các công cụ AI bằng việc truy xuất thông tin phù hợp, cập nhật. Chúng ta cũng sẽ xem xét cách RAG hoạt động cùng computer vision, một lĩnh vực của trí tuệ nhân tạo tập trung vào việc diễn giải dữ liệu hình ảnh, để giúp các hệ thống hiểu không chỉ văn bản mà còn cả hình ảnh, bố cục và tài liệu có cấu trúc trực quan phức tạp.

Tìm hiểu về tạo sinh tăng cường truy xuất (RAG)#

Khi đặt câu hỏi cho một chatbot AI, nhìn chung chúng ta kỳ vọng nhiều hơn một câu trả lời nghe có vẻ hợp lý. Lý tưởng nhất, một câu trả lời tốt cần rõ ràng, chính xác và thực sự hữu ích. Để làm được điều đó, model AI cần nhiều hơn khả năng ngôn ngữ; model cũng cần truy cập đúng thông tin, đặc biệt với các chủ đề cụ thể hoặc phụ thuộc vào thời điểm.

RAG là một kỹ thuật giúp thu hẹp khoảng cách này. Kỹ thuật này kết hợp khả năng hiểu và tạo văn bản của model ngôn ngữ với năng lực truy xuất thông tin phù hợp từ các nguồn bên ngoài. Thay vì chỉ dựa vào dữ liệu huấn luyện, model chủ động lấy nội dung hỗ trợ từ các cơ sở tri thức đáng tin cậy trong khi tạo câu trả lời.

Hình 1. Các trường hợp sử dụng RAG chính. Hình ảnh do tác giả cung cấp.

Bạn có thể hình dung như việc đặt câu hỏi cho một người và người đó tham khảo một tài liệu đáng tin cậy trước khi trả lời. Câu trả lời vẫn được diễn đạt bằng lời của họ, nhưng dựa trên thông tin phù hợp và cập nhật nhất.

Cách tiếp cận này giúp LLM đưa ra các câu trả lời đầy đủ, chính xác và phù hợp hơn với truy vấn của người dùng, khiến chúng đáng tin cậy hơn nhiều trong các ứng dụng thực tế, nơi độ chính xác thực sự quan trọng.

Tìm hiểu cách RAG hoạt động#

RAG nâng cao cách một mô hình ngôn ngữ lớn phản hồi bằng cách bổ sung hai bước chính: truy xuất và tạo sinh. Đầu tiên, hệ thống truy xuất thông tin phù hợp từ một cơ sở tri thức bên ngoài. Sau đó, hệ thống sử dụng thông tin này để tạo ra câu trả lời có cấu trúc tốt và nhận biết ngữ cảnh.

Hãy xem một ví dụ đơn giản để hiểu quy trình này hoạt động như thế nào. Hãy tưởng tượng bạn đang sử dụng một trợ lý AI để quản lý tài chính cá nhân và muốn kiểm tra xem mình có duy trì đúng mục tiêu chi tiêu trong tháng hay không.

Quy trình bắt đầu khi bạn hỏi trợ lý một câu như: "Tháng này tôi có tuân thủ ngân sách không?" Thay vì chỉ dựa vào những gì đã học trong quá trình huấn luyện, hệ thống sử dụng một retriever để tìm kiếm trong các hồ sơ tài chính gần đây nhất của bạn, chẳng hạn như sao kê ngân hàng hoặc bản tóm tắt giao dịch. Hệ thống tập trung vào việc hiểu ý định đằng sau câu hỏi và thu thập thông tin phù hợp nhất.

Sau khi truy xuất thông tin, model ngôn ngữ sẽ tiếp nhận. Model xử lý cả câu hỏi của bạn và dữ liệu lấy từ hồ sơ để tạo ra câu trả lời rõ ràng, hữu ích. Thay vì liệt kê các chi tiết thô, câu trả lời sẽ tóm tắt khoản chi tiêu và đưa ra nhận định trực tiếp, có ý nghĩa, chẳng hạn như xác nhận bạn có đạt mục tiêu hay không và chỉ ra các nhóm chi tiêu chính.

Cách tiếp cận này giúp LLM đưa ra câu trả lời không chỉ chính xác mà còn dựa trên thông tin thực tế, cập nhật của bạn, khiến trải nghiệm hữu ích hơn nhiều so với một model chỉ làm việc với dữ liệu huấn luyện tĩnh.

Hình 2. Tìm hiểu cách RAG hoạt động.

Nhu cầu về các hệ thống RAG đa phương thức#

Thông thường, thông tin không phải lúc nào cũng được chia sẻ dưới dạng văn bản thuần túy. Từ ảnh chụp y tế và sơ đồ đến slide thuyết trình và tài liệu được quét, nội dung trực quan thường chứa các chi tiết quan trọng. Các LLM truyền thống, vốn chủ yếu được xây dựng để đọc và hiểu văn bản, có thể gặp khó khăn với loại nội dung này.

Tuy nhiên, RAG có thể được sử dụng cùng computer vision để thu hẹp khoảng cách đó. Khi kết hợp với nhau, chúng tạo thành một hệ thống RAG đa phương thức, có thể xử lý cả văn bản và hình ảnh, giúp chatbot AI đưa ra câu trả lời chính xác và đầy đủ hơn.

Nền tảng của cách tiếp cận này là các model thị giác-ngôn ngữ (VLMs), được thiết kế để xử lý và suy luận trên cả hai loại đầu vào. Trong thiết lập này, RAG truy xuất thông tin phù hợp nhất từ các nguồn dữ liệu lớn, còn VLM, được hỗ trợ bởi computer vision, diễn giải hình ảnh, bố cục và sơ đồ.

Cách tiếp cận này đặc biệt hữu ích với các tài liệu thực tế như biểu mẫu được quét, báo cáo y tế hoặc slide thuyết trình, trong đó các chi tiết quan trọng có thể nằm cả trong văn bản lẫn hình ảnh. Ví dụ, khi phân tích một tài liệu có hình ảnh đi kèm bảng và đoạn văn, hệ thống đa phương thức có thể trích xuất các thành phần trực quan, tạo bản tóm tắt về nội dung của chúng và kết hợp với văn bản xung quanh để đưa ra câu trả lời đầy đủ, hữu ích hơn.

Hình 3. RAG đa phương thức sử dụng hình ảnh và văn bản để đưa ra câu trả lời tốt hơn.

Các ứng dụng của RAG cho dữ liệu hình ảnh#

Sau khi đã thảo luận RAG là gì và cách RAG hoạt động với computer vision, hãy cùng xem một số ví dụ thực tế và dự án nghiên cứu cho thấy cách tiếp cận này đang được sử dụng.

Tìm hiểu tài liệu trực quan với VisRAG#

Giả sử bạn đang cố gắng trích xuất thông tin chuyên sâu từ một báo cáo tài chính hoặc tài liệu pháp lý được quét. Những loại tệp này thường không chỉ chứa văn bản mà còn có bảng, biểu đồ và bố cục giúp giải thích thông tin. Một model ngôn ngữ thông thường có thể bỏ qua hoặc diễn giải sai các thành phần trực quan này, dẫn đến câu trả lời không đầy đủ hoặc không chính xác.

VisRAG được các nhà nghiên cứu tạo ra để giải quyết thách thức này. Đây là một pipeline RAG dựa trên VLM, xử lý mỗi trang như một hình ảnh thay vì chỉ xử lý văn bản. Nhờ đó, hệ thống có thể hiểu cả nội dung và cấu trúc trực quan. Kết quả là hệ thống có thể tìm ra những phần phù hợp nhất và đưa ra câu trả lời rõ ràng, chính xác hơn, dựa trên toàn bộ ngữ cảnh của tài liệu.

Hình 4. VisRAG có thể đọc tài liệu dưới dạng hình ảnh để nắm bắt nội dung văn bản và bố cục.

Hỏi đáp hình ảnh với RAG#

Hỏi đáp hình ảnh (VQA) là một tác vụ trong đó hệ thống AI trả lời các câu hỏi về hình ảnh. Nhiều hệ thống VQA hiện có tập trung vào việc trả lời câu hỏi về một tài liệu duy nhất mà không cần tìm kiếm thêm thông tin, được gọi là thiết lập đóng.

VDocRAG là một framework RAG áp dụng cách tiếp cận thực tế hơn. Framework này tích hợp VQA với khả năng truy xuất trước các tài liệu phù hợp. Điều này hữu ích trong những tình huống thực tế, khi câu hỏi của người dùng có thể liên quan đến một trong nhiều tài liệu và hệ thống cần tìm đúng tài liệu trước khi trả lời. Để thực hiện việc đó, VDocRAG sử dụng VLM để phân tích tài liệu dưới dạng hình ảnh, đồng thời bảo toàn cả văn bản và cấu trúc trực quan.

Điều này khiến VDocRAG đặc biệt hữu ích trong các ứng dụng như tìm kiếm nội bộ doanh nghiệp, tự động hóa tài liệu và hỗ trợ khách hàng. Framework có thể giúp các nhóm nhanh chóng trích xuất câu trả lời từ những tài liệu phức tạp được định dạng trực quan, chẳng hạn như sổ tay hoặc tài liệu chính sách, trong đó việc hiểu bố cục cũng quan trọng như đọc nội dung.

Hình 5. Sự khác biệt giữa VDocRAG và các giải pháp dựa trên LLM.

Cải thiện tạo chú thích hình ảnh với RAG#

Tạo chú thích hình ảnh là quá trình tạo mô tả bằng văn bản về những gì đang diễn ra trong một hình ảnh. Tính năng này được sử dụng trong nhiều ứng dụng, từ giúp nội dung trực tuyến dễ tiếp cận hơn đến hỗ trợ tìm kiếm hình ảnh, kiểm duyệt nội dung và các hệ thống đề xuất.

Tuy nhiên, việc tạo chú thích chính xác không phải lúc nào cũng dễ dàng đối với các model AI. Điều này đặc biệt khó khi hình ảnh thể hiện điều khác với những gì model đã được huấn luyện. Nhiều hệ thống tạo chú thích phụ thuộc nhiều vào dữ liệu huấn luyện, vì vậy khi gặp các cảnh không quen thuộc, chú thích có thể mơ hồ hoặc không chính xác.

Để giải quyết vấn đề này, các nhà nghiên cứu đã phát triển Re-ViLM, một phương pháp đưa tạo sinh tăng cường truy xuất (RAG) vào quá trình tạo chú thích hình ảnh. Thay vì tạo chú thích từ đầu, Re-ViLM truy xuất các cặp hình ảnh-văn bản tương tự từ cơ sở dữ liệu và sử dụng chúng để định hướng đầu ra chú thích.

Cách tiếp cận dựa trên truy xuất này giúp model neo các mô tả vào những ví dụ phù hợp, cải thiện cả độ chính xác và độ trôi chảy. Các kết quả ban đầu cho thấy Re-ViLM tạo ra chú thích tự nhiên hơn, nhận biết ngữ cảnh tốt hơn bằng cách sử dụng các ví dụ thực tế, qua đó giảm các mô tả mơ hồ hoặc không chính xác.

Hình 6. Re-ViLM cải thiện chú thích hình ảnh bằng cách truy xuất các ví dụ trực quan-văn bản.

Ưu và nhược điểm của việc sử dụng RAG để hiểu dữ liệu hình ảnh#

Dưới đây là cái nhìn nhanh về những lợi ích của việc áp dụng các kỹ thuật tạo sinh tăng cường truy xuất để truy xuất và sử dụng thông tin trực quan:

• Khả năng tóm tắt được nâng cao: Bản tóm tắt có thể kết hợp thông tin chuyên sâu từ hình ảnh, chẳng hạn như xu hướng trong biểu đồ hoặc các thành phần đồ họa thông tin, thay vì chỉ từ văn bản.
• Tìm kiếm và truy xuất mạnh mẽ hơn: Các bước truy xuất có thể xác định những trang chứa hình ảnh phù hợp ngay cả khi từ khóa không xuất hiện trong văn bản, nhờ khả năng hiểu dựa trên hình ảnh.
• Hỗ trợ tài liệu được quét, viết tay hoặc dựa trên hình ảnh: Các pipeline RAG được hỗ trợ bởi VLM có thể xử lý nội dung mà các model chỉ dùng văn bản không thể đọc được.

Dù có những lợi ích này, vẫn có một số hạn chế cần lưu ý khi sử dụng RAG để làm việc với dữ liệu hình ảnh. Dưới đây là một số hạn chế chính:

• Yêu cầu tính toán cao: Việc phân tích cả hình ảnh và văn bản sử dụng nhiều bộ nhớ và năng lực xử lý hơn, có thể làm giảm hiệu suất hoặc tăng chi phí.
• Mối lo ngại về quyền riêng tư dữ liệu và bảo mật: Tài liệu trực quan, đặc biệt trong các lĩnh vực như y tế hoặc tài chính, có thể chứa thông tin nhạy cảm, gây phức tạp cho quy trình truy xuất và xử lý.
• Thời gian suy luận lâu hơn: Do xử lý hình ảnh làm tăng độ phức tạp, việc tạo câu trả lời có thể mất nhiều thời gian hơn so với các hệ thống chỉ xử lý văn bản.

Những điểm chính#

Tạo sinh tăng cường truy xuất đang cải thiện cách các mô hình ngôn ngữ lớn trả lời câu hỏi bằng cách cho phép chúng lấy thông tin phù hợp, cập nhật từ các nguồn bên ngoài. Khi kết hợp với computer vision, các hệ thống này có thể xử lý không chỉ văn bản mà còn cả nội dung trực quan như biểu đồ, bảng, hình ảnh và tài liệu được quét, từ đó tạo ra các câu trả lời chính xác và toàn diện hơn.

Cách tiếp cận này giúp LLM phù hợp hơn với các tác vụ thực tế liên quan đến tài liệu phức tạp. Bằng cách kết hợp khả năng truy xuất và hiểu hình ảnh, các model này có thể diễn giải nhiều định dạng đa dạng hiệu quả hơn và cung cấp thông tin chuyên sâu hữu ích hơn trong các bối cảnh thực tiễn hằng ngày.

Hãy tham gia cộng đồng đang không ngừng phát triển của chúng tôi! Khám phá repository GitHub để tìm hiểu sâu hơn về AI. Sẵn sàng bắt đầu các dự án computer vision của riêng bạn? Xem các tùy chọn cấp phép của chúng tôi. Tìm hiểu thêm về AI trong y tế và computer vision trong bán lẻ trên các trang giải pháp của chúng tôi!