Thu hồi tăng cường thế hệ (RAG)

Thế hệ Tăng cường Truy xuất (RAG) là một khuôn khổ AI tiên tiến được thiết kế để cải thiện chất lượng, độ chính xác và tính liên quan của các phản hồi được tạo ra bởi Mô hình Ngôn ngữ Lớn (LLM) . Nó hoạt động bằng cách kết nối một mô hình sinh ra với một cơ sở kiến thức bên ngoài, được cập nhật. Điều này cho phép mô hình "truy xuất" thông tin liên quan trước khi tạo ra câu trả lời, dựa trên các dữ kiện có thể kiểm chứng và giảm khả năng xuất hiện ảo giác hoặc phản hồi lỗi thời. RAG giúp LLM đáng tin cậy hơn cho các tác vụ đòi hỏi kiến thức chuyên sâu bằng cách cho phép chúng truy cập vào thông tin chuyên biệt hoặc độc quyền mà chúng chưa được đào tạo.

Cách thức hoạt động của thế hệ tăng cường truy xuất

Quy trình RAG có thể được chia thành hai giai đoạn chính: truy xuất và tạo dữ liệu. Phương pháp tiếp cận hai giai đoạn này kết hợp thế mạnh của các hệ thống truy xuất thông tin và các mô hình tạo dữ liệu.

1. Truy xuất: Khi người dùng đưa ra lời nhắc hoặc đặt câu hỏi, hệ thống RAG trước tiên sẽ sử dụng lời nhắc đó để tìm kiếm thông tin liên quan trong nguồn kiến thức. Nguồn này thường là một cơ sở dữ liệu vector chứa các tài liệu, bài viết hoặc dữ liệu khác. Thành phần truy xuất sẽ xác định và trích xuất các đoạn văn bản hoặc dữ liệu có liên quan nhất dựa trên truy vấn của người dùng. Một bước tùy chọn nhưng hiệu quả là sử dụng bộ xếp hạng lại để tinh chỉnh các kết quả đã truy xuất này, đảm bảo chỉ những thông tin quan trọng nhất về mặt ngữ cảnh mới được truyền đi.
2. Thế hệ Tăng cường: Thông tin thu thập được sau đó được kết hợp với lời nhắc người dùng ban đầu. Lời nhắc mới, được làm giàu này được đưa vào mô hình AI tạo sinh (LLM). Mô hình sử dụng ngữ cảnh bổ sung này để xây dựng một phản hồi toàn diện, chính xác và phù hợp. Các khuôn khổ như LangChain và LlamaIndex thường được sử dụng để xây dựng và quản lý các đường ống RAG phức tạp này.

Ứng dụng và Ví dụ

RAG đặc biệt hữu ích trong các tình huống đòi hỏi độ chính xác thực tế và khả năng truy cập vào dữ liệu động hoặc chuyên biệt.

• Hệ thống Hỏi-Đáp Nâng cao: Chatbot hỗ trợ khách hàng có thể sử dụng RAG để truy cập toàn bộ kho kiến thức của công ty, bao gồm hướng dẫn sử dụng sản phẩm, hướng dẫn khắc phục sự cố và tài liệu chính sách. Khi khách hàng hỏi "Chính sách bảo hành cho sản phẩm của tôi là gì?", hệ thống sẽ lấy tài liệu bảo hành mới nhất và sử dụng nó để cung cấp câu trả lời chính xác, cập nhật, một cải tiến đáng kể so với các câu trả lời chung chung.
• Tạo nội dung và nghiên cứu: Một nhà phân tích tài chính có thể sử dụng công cụ hỗ trợ RAG để viết tóm tắt thị trường. Công cụ này có thể thu thập các báo cáo tài chính, tin tức thị trường và dữ liệu hiệu suất cổ phiếu mới nhất từ các nguồn đáng tin cậy như Bloomberg hoặc Reuters . Sau đó, LLM sẽ tổng hợp thông tin này thành một báo cáo mạch lạc, đầy đủ trích dẫn, giúp đẩy nhanh đáng kể quá trình nghiên cứu.

RAG so với các khái niệm liên quan

Sẽ rất hữu ích khi phân biệt RAG với các phương pháp khác được sử dụng để nâng cao hiệu suất LLM:

• Tinh chỉnh : Tinh chỉnh điều chỉnh mô hình đã được đào tạo trước bằng cách tiếp tục đào tạo trên một tập dữ liệu chuyên biệt nhỏ hơn, điều này sẽ sửa đổi các trọng số nội bộ của mô hình. Không giống như RAG, nó không tham khảo dữ liệu bên ngoài trong quá trình suy luận. Tinh chỉnh lý tưởng để dạy cho mô hình một phong cách hoặc kỹ năng mới, trong khi RAG tốt hơn trong việc kết hợp kiến thức thực tế. Các phương pháp này cũng có thể bổ sung cho nhau.
• Kỹ thuật Prompt : Đây là quy trình thủ công thiết kế cẩn thận các lời nhắc để có được kết quả mong muốn từ LLM. RAG tự động hóa một phần quy trình này bằng cách lập trình thêm ("bổ sung") lời nhắc với dữ liệu đã thu thập, thay vì dựa vào con người để cung cấp toàn bộ ngữ cảnh theo cách thủ công.
• Làm giàu nhanh : Mặc dù tương tự như RAG, làm giàu nhanh là một thuật ngữ rộng hơn. Nó có thể bao gồm việc thêm ngữ cảnh từ lịch sử người dùng hoặc luồng hội thoại. RAG là một loại làm giàu cụ thể tập trung vào việc truy xuất thông tin thực tế từ cơ sở tri thức bên ngoài để làm cơ sở cho phản hồi của mô hình.

RAG trong thị giác máy tính

Mặc dù RAG chủ yếu được sử dụng trong Xử lý Ngôn ngữ Tự nhiên (NLP) , khái niệm cốt lõi của nó đang được khám phá cho các tác vụ thị giác máy tính (CV) . Ví dụ, một hệ thống có thể truy xuất thông tin hình ảnh liên quan để hướng dẫn việc tạo hoặc phân tích hình ảnh. Điều này có thể bao gồm việc tìm kiếm các hình ảnh tương tự từ một tập dữ liệu lớn để cải thiện hiệu suất của một mô hình phát hiện đối tượng như Ultralytics YOLO . Việc quản lý các mô hình và tập dữ liệu phức tạp này được hợp lý hóa với các nền tảng như Ultralytics HUB , có thể đóng vai trò là nền tảng cho các ứng dụng mô hình đa phương thức trong tương lai sử dụng RAG. Bạn có thể khám phá một triển khai liên quan trong blog của chúng tôi về việc nâng cao AI bằng RAG và thị giác máy tính .