Retrieval Augmented Generation (RAG)

Retrieval Augmented Generation (RAG) là một kỹ thuật tiên tiến trong lĩnh vực trí tuệ nhân tạo, giúp tối ưu hóa đầu ra của Large Language Model (LLM) bằng cách tham chiếu đến một cơ sở tri thức có thẩm quyền bên ngoài dữ liệu huấn luyện của nó. Các mô hình tạo sinh truyền thống chỉ dựa hoàn toàn vào thông tin tĩnh được học trong quá trình huấn luyện ban đầu, điều này có thể dẫn đến các câu trả lời lỗi thời hoặc những điểm không chính xác một cách tự tin được gọi là hallucinations. RAG thu hẹp khoảng cách này bằng cách truy xuất thông tin có liên quan, cập nhật từ các nguồn bên ngoài—như cơ sở dữ liệu của công ty, tin tức hiện tại hoặc sổ tay kỹ thuật—và cung cấp chúng cho mô hình dưới dạng ngữ cảnh trước khi phản hồi được tạo ra. Quá trình này đảm bảo rằng các đầu ra của AI không chỉ mạch lạc về mặt ngôn ngữ mà còn chính xác về mặt thực tế và dựa trên dữ liệu cụ thể.

Cách các hệ thống RAG hoạt động#

Kiến trúc của một hệ thống RAG thường bao gồm hai giai đoạn chính: truy xuất và tạo sinh. Quy trình này cho phép các nhà phát triển duy trì một foundation model mà không cần tốn kém chi phí huấn luyện lại thường xuyên.

1. Retrieval: Khi người dùng gửi một truy vấn, hệ thống trước tiên sẽ thực hiện một semantic search trên một hệ thống lưu trữ chuyên biệt gọi là vector database. Cơ sở dữ liệu này chứa dữ liệu đã được chuyển đổi thành các biểu diễn số được gọi là embeddings, cho phép hệ thống tìm kiếm thông tin tương đồng về mặt khái niệm thay vì chỉ khớp các từ khóa.

2. Generation: Các tài liệu hoặc đoạn dữ liệu có liên quan tìm thấy trong quá trình truy xuất được kết hợp với câu hỏi ban đầu của người dùng. Lời nhắc được làm phong phú này sau đó được gửi đến mô hình tạo sinh. Mô hình sử dụng ngữ cảnh được cung cấp này để tổng hợp câu trả lời, đảm bảo phản hồi dựa trên các sự kiện đã truy xuất. Để tìm hiểu sâu hơn về các cơ chế này, IBM provides a comprehensive guide on RAG workflows.

Visual RAG: Tích hợp Computer Vision#

Mặc dù RAG theo truyền thống dựa trên văn bản, nhưng sự trỗi dậy của multi-modal learning đã giới thiệu "Visual RAG". Trong kịch bản này, các mô hình computer vision đóng vai trò là cơ chế truy xuất. Chúng phân tích hình ảnh hoặc luồng video để trích xuất dữ liệu văn bản có cấu trúc—chẳng hạn như tên đối tượng, số lượng hoặc hoạt động—sau đó được đưa vào LLM để trả lời các câu hỏi về cảnh trực quan.

Ví dụ, một nhà phát triển có thể sử dụng YOLO26 để phát hiện các đối tượng trong một hình ảnh và chuyển danh sách các đối tượng đó cho một mô hình văn bản để tạo báo cáo mô tả.

from ultralytics import YOLO

# Load the YOLO26 model for state-of-the-art detection
model = YOLO("yolo26n.pt")

# Perform inference to 'retrieve' visual facts from an image
results = model("https://ultralytics.com/images/bus.jpg")

# Extract class names to build a text context for an LLM
detected_classes = [model.names[int(c)] for c in results[0].boxes.cls]
context_string = f"The scene contains: {', '.join(detected_classes)}."

print(context_string)
# Output example: "The scene contains: bus, person, person, person."

Các ứng dụng trong thực tế#

RAG đang chuyển đổi các ngành công nghiệp bằng cách cho phép các AI agents truy cập dữ liệu độc quyền hoặc dữ liệu thời gian thực một cách bảo mật.

• Enterprise Knowledge Bases: Các công ty sử dụng RAG để xây dựng các chatbot nội bộ trả lời các câu hỏi của nhân viên về chính sách nhân sự hoặc tài liệu kỹ thuật. Bằng cách kết nối LLM với kho lưu trữ tài liệu trực tiếp, hệ thống tránh cung cấp thông tin chính sách lỗi thời. Để biết thêm thông tin về các triển khai doanh nghiệp, hãy xem Google Cloud's overview of RAG in Vertex AI.
• Clinical Decision Support: Trong AI in healthcare, các hệ thống RAG có thể truy xuất lịch sử bệnh nhân và các bài báo nghiên cứu y tế gần đây để hỗ trợ bác sĩ chẩn đoán, đảm bảo lời khuyên xem xét các nghiên cứu lâm sàng mới nhất.
• Smart Retail Assistants: Các ứng dụng sử dụng AI in retail tận dụng RAG để kiểm tra cơ sở dữ liệu hàng tồn kho trực tiếp. Nếu khách hàng hỏi chatbot, "Bạn có đôi giày chạy bộ này ở size 10 không?", mô hình sẽ truy xuất mức tồn kho thời gian thực trước khi trả lời, ngăn chặn sự thất vọng về các mặt hàng hết hàng.

RAG so với Fine-Tuning#

Điều quan trọng là phải phân biệt RAG với fine-tuning, vì chúng giải quyết các vấn đề khác nhau.

• RAG (Retrieval Augmented Generation): Phù hợp nhất để truy cập dữ liệu động, thường xuyên thay đổi (ví dụ: giá cổ phiếu, tin tức) hoặc dữ liệu riêng tư không có trong tập dữ liệu đào tạo công khai. Nó tập trung vào việc cung cấp thông tin mới tại thời điểm chạy (runtime).
• Fine-Tuning: Tốt nhất để điều chỉnh hành vi, phong cách hoặc thuật ngữ của mô hình. Nó liên quan đến việc cập nhật model weights trên một tập dữ liệu cụ thể. Mặc dù tinh chỉnh giúp mô hình học một mẫu ngôn ngữ cụ thể (như biệt ngữ y tế), nhưng nó không cấp quyền truy cập vào các sự kiện thời gian thực. Xem OpenAI's guide on fine-tuning vs. RAG để biết các khung ra quyết định.

Các khái niệm liên quan#

• LangChain: Một framework mã nguồn mở phổ biến được thiết kế đặc biệt để đơn giản hóa việc tạo các ứng dụng RAG bằng cách liên kết các trình truy xuất và LLM lại với nhau.
• Knowledge Graph: Một cách có cấu trúc để biểu diễn dữ liệu có thể được sử dụng làm nguồn truy xuất, cung cấp các mối quan hệ phong phú về ngữ cảnh hơn so với độ tương đồng vector đơn giản.
• Prompt Engineering: Nghệ thuật soạn thảo các đầu vào để hướng dẫn mô hình. RAG thực chất là một hình thức tự động của kỹ thuật prompt, trong đó "prompt" được làm phong phú với dữ liệu được truy xuất theo chương trình.
• Ultralytics Platform: Trong khi RAG xử lý phần tạo văn bản, các nền tảng như thế này là cần thiết để quản lý việc data preprocessing và huấn luyện các mô hình thị giác đưa dữ liệu trực quan vào các đường ống RAG đa phương thức.