Cải thiện các ứng dụng AI bằng RAG và thị giác máy tính

Việc sử dụng các công cụ AI như ChatGPT hoặc Gemini đang nhanh chóng trở thành cách tìm kiếm thông tin phổ biến. Dù bạn đang soạn tin nhắn, tóm tắt tài liệu hay trả lời câu hỏi, những công cụ này thường đưa ra giải pháp nhanh hơn và dễ dàng hơn.

Tuy nhiên, nếu đã sử dụng mô hình ngôn ngữ lớn (LLMs) vài lần, có lẽ bạn đã nhận thấy những hạn chế của chúng. Khi nhận được câu hỏi rất cụ thể hoặc cần thông tin mới nhất, chúng có thể đưa ra câu trả lời sai nhưng thường thể hiện với vẻ chắc chắn.

Điều này xảy ra vì các LLM độc lập chỉ dựa vào dữ liệu dùng để huấn luyện chúng. Chúng không thể truy cập thông tin cập nhật mới nhất hoặc kiến thức chuyên biệt nằm ngoài dataset đó. Vì vậy, câu trả lời có thể đã lỗi thời hoặc không chính xác.

Để giải quyết vấn đề này, các nhà nghiên cứu đã phát triển một phương pháp có tên tạo sinh tăng cường truy xuất (RAG). RAG cải thiện các model ngôn ngữ bằng cách cho phép chúng truy xuất thông tin mới, phù hợp từ các nguồn đáng tin cậy khi trả lời câu hỏi.

Trong bài viết này, chúng ta sẽ tìm hiểu cách RAG hoạt động và cách RAG cải thiện các công cụ AI bằng việc truy xuất thông tin phù hợp, cập nhật. Chúng ta cũng sẽ xem xét cách RAG kết hợp với thị giác máy tính, một lĩnh vực trí tuệ nhân tạo tập trung vào việc diễn giải dữ liệu hình ảnh, để giúp hệ thống hiểu không chỉ văn bản mà còn cả hình ảnh, bố cục và tài liệu có cấu trúc thị giác phức tạp.

Tìm hiểu về tạo sinh tăng cường truy xuất (RAG)#

Khi đặt câu hỏi cho chatbot AI, thông thường chúng ta mong đợi nhiều hơn một câu trả lời nghe có vẻ hợp lý. Lý tưởng nhất là câu trả lời tốt phải rõ ràng, chính xác và thực sự hữu ích. Để đáp ứng điều đó, model AI cần nhiều hơn khả năng ngôn ngữ; model cũng cần truy cập đúng thông tin, đặc biệt với các chủ đề chuyên biệt hoặc nhạy cảm về thời gian.

RAG là một kỹ thuật giúp thu hẹp khoảng cách này. RAG kết hợp khả năng hiểu và tạo văn bản của model ngôn ngữ với năng lực truy xuất thông tin phù hợp từ các nguồn bên ngoài. Thay vì chỉ dựa vào dữ liệu huấn luyện, model chủ động lấy nội dung hỗ trợ từ các kho tri thức đáng tin cậy trong khi tạo câu trả lời.

Hình 1. Các trường hợp sử dụng RAG tiêu biểu. Hình ảnh do tác giả thực hiện.

Bạn có thể hình dung quy trình này giống như việc đặt câu hỏi cho một người và để họ tra cứu tài liệu tham khảo đáng tin cậy trước khi trả lời. Câu trả lời vẫn được diễn đạt bằng lời của họ, nhưng dựa trên thông tin phù hợp và cập nhật nhất.

Cách tiếp cận này giúp LLM đưa ra câu trả lời đầy đủ, chính xác và phù hợp hơn với câu hỏi của người dùng, nhờ đó đáng tin cậy hơn nhiều trong các ứng dụng thực tế vốn đòi hỏi độ chính xác.

Tìm hiểu cách RAG hoạt động#

RAG cải thiện cách một mô hình ngôn ngữ lớn phản hồi bằng cách bổ sung hai bước chính: truy xuất và tạo sinh. Trước tiên, hệ thống truy xuất thông tin phù hợp từ kho tri thức bên ngoài. Sau đó, hệ thống dùng thông tin đó để tạo câu trả lời mạch lạc, phù hợp với ngữ cảnh.

Hãy cùng xem một ví dụ đơn giản để hiểu quy trình này hoạt động ra sao. Hãy tưởng tượng bạn đang dùng trợ lý AI để quản lý tài chính cá nhân và muốn kiểm tra xem mình có chi tiêu trong giới hạn ngân sách tháng hay không.

Quy trình bắt đầu khi bạn hỏi trợ lý một câu như: "Tháng này tôi có chi tiêu đúng ngân sách không?" Thay vì chỉ dựa vào những gì đã học trong quá trình huấn luyện, hệ thống sử dụng bộ truy xuất để tìm kiếm hồ sơ tài chính gần đây nhất của bạn, chẳng hạn như sao kê ngân hàng hoặc bản tổng hợp giao dịch. Hệ thống tập trung hiểu ý định đằng sau câu hỏi và thu thập thông tin phù hợp nhất.

Sau khi truy xuất thông tin, model ngôn ngữ sẽ xử lý tiếp. Model phân tích cả câu hỏi lẫn dữ liệu lấy từ hồ sơ của bạn để tạo câu trả lời rõ ràng, hữu ích. Thay vì liệt kê dữ liệu thô, câu trả lời tóm tắt khoản chi tiêu và đưa ra nhận định trực tiếp, có ý nghĩa — chẳng hạn xác nhận bạn có đạt mục tiêu hay không và chỉ ra các khoản chi tiêu chính.

Cách tiếp cận này giúp LLM đưa ra câu trả lời không chỉ chính xác mà còn dựa trên thông tin thực tế, cập nhật của bạn, nhờ đó trải nghiệm hữu ích hơn nhiều so với model chỉ làm việc với dữ liệu huấn luyện tĩnh.

Hình 2. Tìm hiểu cách RAG hoạt động.

Nhu cầu về hệ thống RAG đa phương thức#

Thông tin không phải lúc nào cũng được chia sẻ dưới dạng văn bản thuần. Từ ảnh chụp y tế và sơ đồ đến slide thuyết trình và tài liệu được quét, hình ảnh thường chứa những chi tiết quan trọng. Các LLM truyền thống, vốn chủ yếu được xây dựng để đọc và hiểu văn bản, có thể gặp khó khăn với loại nội dung này.

Tuy nhiên, có thể kết hợp RAG với thị giác máy tính để thu hẹp khoảng cách đó. Khi kết hợp hai công nghệ này, chúng tạo thành một hệ thống RAG đa phương thức — có thể xử lý cả văn bản lẫn hình ảnh, giúp chatbot AI đưa ra câu trả lời chính xác và đầy đủ hơn.

Cốt lõi của cách tiếp cận này là mô hình thị giác-ngôn ngữ (VLMs), được thiết kế để xử lý và suy luận trên cả hai loại đầu vào. Trong cấu hình này, RAG truy xuất thông tin phù hợp nhất từ các nguồn dữ liệu lớn, còn VLM được hỗ trợ bởi thị giác máy tính sẽ diễn giải hình ảnh, bố cục và sơ đồ.

Cách này đặc biệt hữu ích với các tài liệu thực tế như biểu mẫu được quét, báo cáo y tế hoặc slide thuyết trình, nơi các chi tiết quan trọng có thể nằm trong cả văn bản lẫn hình ảnh. Ví dụ, khi phân tích tài liệu có hình ảnh bên cạnh bảng và đoạn văn, hệ thống đa phương thức có thể trích xuất các yếu tố hình ảnh, tạo bản tóm tắt nội dung thể hiện trong đó, rồi kết hợp với văn bản xung quanh để đưa ra câu trả lời đầy đủ và hữu ích hơn.

Hình 3. RAG đa phương thức sử dụng hình ảnh và văn bản để đưa ra câu trả lời tốt hơn.

Ứng dụng RAG cho dữ liệu hình ảnh#

Giờ đây, sau khi đã tìm hiểu RAG là gì và hoạt động như thế nào với thị giác máy tính, hãy xem một số ví dụ thực tế và dự án nghiên cứu cho thấy cách tiếp cận này đang được ứng dụng ra sao.

Tìm hiểu tài liệu trực quan bằng VisRAG#

Giả sử bạn đang cố gắng rút ra thông tin hữu ích từ báo cáo tài chính hoặc tài liệu pháp lý được quét. Những tệp này thường không chỉ chứa văn bản mà còn có bảng, biểu đồ và bố cục giúp giải thích thông tin. Model ngôn ngữ thông thường có thể bỏ qua hoặc diễn giải sai các yếu tố hình ảnh này, dẫn đến câu trả lời không đầy đủ hoặc thiếu chính xác.

VisRAG được các nhà nghiên cứu tạo ra để giải quyết thách thức này. Đây là pipeline RAG dựa trên VLM, xử lý mỗi trang như một hình ảnh thay vì chỉ xử lý văn bản. Nhờ đó, hệ thống có thể hiểu cả nội dung lẫn cấu trúc trực quan của tài liệu. Vì vậy, hệ thống có thể tìm ra những phần phù hợp nhất và đưa ra câu trả lời rõ ràng, chính xác hơn dựa trên ngữ cảnh đầy đủ của tài liệu.

Hình 4. VisRAG có thể đọc tài liệu dưới dạng hình ảnh để nắm bắt nội dung văn bản và bố cục.

Hỏi đáp trực quan với RAG#

Hỏi đáp bằng hình ảnh (VQA) là tác vụ trong đó hệ thống AI trả lời các câu hỏi về hình ảnh. Nhiều hệ thống VQA hiện có tập trung trả lời câu hỏi về một tài liệu duy nhất mà không cần tìm kiếm thêm thông tin — đây được gọi là thiết lập khép kín.

VDocRAG là một framework RAG có cách tiếp cận thực tế hơn. Framework này tích hợp VQA với khả năng truy xuất tài liệu phù hợp trước tiên. Điều này hữu ích trong các tình huống thực tế, khi câu hỏi của người dùng có thể liên quan đến một trong nhiều tài liệu và hệ thống cần tìm đúng tài liệu trước khi trả lời. Để thực hiện việc này, VDocRAG dùng VLM phân tích tài liệu dưới dạng hình ảnh, đồng thời giữ nguyên cả văn bản lẫn cấu trúc trực quan.

Điều này khiến VDocRAG đặc biệt hữu ích trong các ứng dụng như tìm kiếm nội bộ doanh nghiệp, tự động hóa tài liệu và hỗ trợ khách hàng. VDocRAG có thể giúp các nhóm nhanh chóng trích xuất câu trả lời từ những tài liệu phức tạp được định dạng trực quan, như hướng dẫn sử dụng hoặc tài liệu chính sách, trong đó hiểu bố cục cũng quan trọng như đọc nội dung.

Hình 5. Sự khác biệt giữa VDocRAG và các giải pháp dựa trên LLM.

Cải thiện khả năng tạo chú thích hình ảnh bằng RAG#

Tạo chú thích hình ảnh là quá trình tạo mô tả bằng văn bản về những gì đang diễn ra trong hình ảnh. Kỹ thuật này được sử dụng trong nhiều ứng dụng — từ giúp nội dung trực tuyến dễ tiếp cận hơn đến hỗ trợ tìm kiếm hình ảnh, kiểm duyệt nội dung và hệ thống đề xuất.

Tuy nhiên, việc tạo chú thích chính xác không phải lúc nào cũng dễ dàng với các model AI. Việc này đặc biệt khó khi hình ảnh thể hiện điều khác với dữ liệu model đã được huấn luyện. Nhiều hệ thống tạo chú thích phụ thuộc nhiều vào dữ liệu huấn luyện, nên khi gặp những khung cảnh lạ, chú thích có thể chung chung hoặc không chính xác.

Để giải quyết vấn đề này, các nhà nghiên cứu đã phát triển Re-ViLM, một phương pháp đưa tạo sinh tăng cường truy xuất (RAG) vào tác vụ tạo chú thích hình ảnh. Thay vì tạo chú thích từ đầu, Re-ViLM truy xuất các cặp hình ảnh-văn bản tương tự từ cơ sở dữ liệu và dùng chúng để định hướng nội dung chú thích.

Cách tiếp cận dựa trên truy xuất này giúp model tạo mô tả dựa trên các ví dụ phù hợp, cải thiện cả độ chính xác lẫn độ trôi chảy. Kết quả ban đầu cho thấy Re-ViLM tạo chú thích tự nhiên hơn, phù hợp với ngữ cảnh hơn nhờ sử dụng ví dụ thực tế, qua đó giảm các mô tả chung chung hoặc thiếu chính xác.

Hình 6. Re-ViLM cải thiện chú thích hình ảnh bằng cách truy xuất các ví dụ kết hợp hình ảnh và văn bản.

Ưu và nhược điểm khi dùng RAG để hiểu dữ liệu hình ảnh#

Dưới đây là cái nhìn nhanh về những lợi ích của việc áp dụng các kỹ thuật tạo sinh tăng cường truy xuất để tìm và sử dụng thông tin hình ảnh:

• Cải thiện khả năng tóm tắt: Bản tóm tắt có thể tích hợp thông tin từ hình ảnh (chẳng hạn như xu hướng trong biểu đồ hoặc các yếu tố trong infographic), chứ không chỉ dựa trên văn bản.
• Tìm kiếm và truy xuất hiệu quả hơn: Các bước truy xuất có thể xác định những trang hình ảnh phù hợp ngay cả khi văn bản không chứa từ khóa, bằng cách sử dụng khả năng hiểu dựa trên hình ảnh.
• Hỗ trợ tài liệu được quét, viết tay hoặc dựa trên hình ảnh: Pipeline RAG tích hợp VLM có thể xử lý nội dung mà các model chỉ đọc văn bản không thể đọc được.

Dù có những lợi ích này, vẫn còn một số hạn chế cần lưu ý khi dùng RAG để xử lý dữ liệu hình ảnh. Dưới đây là một vài hạn chế chính:

• Yêu cầu tính toán cao: Phân tích cả hình ảnh lẫn văn bản tiêu tốn nhiều bộ nhớ và năng lực xử lý hơn, có thể làm giảm hiệu năng hoặc tăng chi phí.
• Quan ngại về quyền riêng tư dữ liệu và bảo mật: Tài liệu hình ảnh, đặc biệt trong các lĩnh vực như chăm sóc sức khỏe hoặc tài chính, có thể chứa thông tin nhạy cảm làm phức tạp quy trình truy xuất và xử lý.
• Thời gian inference lâu hơn: Do xử lý hình ảnh làm tăng độ phức tạp, quá trình tạo câu trả lời có thể mất nhiều thời gian hơn so với các hệ thống chỉ xử lý văn bản.

Điểm chính cần ghi nhớ#

Tạo sinh tăng cường truy xuất đang cải thiện cách các mô hình ngôn ngữ lớn trả lời câu hỏi bằng cách cho phép chúng lấy thông tin phù hợp, cập nhật từ các nguồn bên ngoài. Khi kết hợp với thị giác máy tính, các hệ thống này có thể xử lý không chỉ văn bản mà còn cả nội dung hình ảnh như biểu đồ, bảng, hình ảnh và tài liệu được quét, từ đó đưa ra câu trả lời chính xác và toàn diện hơn.

Cách tiếp cận này giúp LLM phù hợp hơn với các tác vụ thực tế liên quan đến tài liệu phức tạp. Bằng cách kết hợp truy xuất và khả năng hiểu hình ảnh, các model này có thể diễn giải nhiều định dạng khác nhau hiệu quả hơn và đưa ra thông tin hữu ích hơn trong bối cảnh thực tiễn hằng ngày.

Hãy tham gia cộng đồng đang phát triển của chúng tôi! Khám phá repository GitHub để tìm hiểu sâu hơn về AI. Bạn đã sẵn sàng bắt đầu các dự án thị giác máy tính của riêng mình chưa? Hãy xem các tùy chọn cấp phép của chúng tôi. Tìm hiểu thêm về AI trong chăm sóc sức khỏe và thị giác máy tính trong ngành bán lẻ trên các trang giải pháp của chúng tôi!