Retrieval Augmented Generation (RAG)

Retrieval Augmented Generation (RAG) là một kỹ thuật tiên tiến trong lĩnh vực trí tuệ nhân tạo giúp tối ưu hóa đầu ra của Large Language Model (LLM) bằng cách tham chiếu đến một cơ sở tri thức đáng tin cậy nằm ngoài dữ liệu đào tạo của nó. Các mô hình tạo sinh truyền thống chỉ dựa vào thông tin tĩnh học được trong quá trình đào tạo ban đầu, điều này có thể dẫn đến các câu trả lời lỗi thời hoặc các thông tin sai lệch đầy tự tin được gọi là hallucinations. RAG thu hẹp khoảng cách này bằng cách truy xuất thông tin liên quan, cập nhật từ các nguồn bên ngoài—chẳng hạn như cơ sở dữ liệu công ty, tin tức hiện tại hoặc tài liệu kỹ thuật—và cung cấp chúng cho mô hình dưới dạng ngữ cảnh trước khi phản hồi được tạo. Quy trình này đảm bảo rằng các đầu ra của AI không chỉ mạch lạc về mặt ngôn ngữ mà còn chính xác về mặt thực tế và dựa trên dữ liệu cụ thể.

Link to this sectionCách các hệ thống RAG hoạt động#

Kiến trúc của một hệ thống RAG thường bao gồm hai giai đoạn chính: truy xuất và tạo sinh. Quy trình này cho phép các nhà phát triển duy trì một foundation model mà không cần phải đào tạo lại thường xuyên đầy tốn kém.

1. Truy xuất: Khi người dùng gửi truy vấn, hệ thống trước tiên thực hiện semantic search trên một hệ thống lưu trữ chuyên dụng được gọi là vector database. Cơ sở dữ liệu này chứa dữ liệu đã được chuyển đổi thành các biểu diễn số được gọi là embeddings, cho phép hệ thống tìm kiếm thông tin tương đồng về mặt khái niệm thay vì chỉ khớp các từ khóa.

2. Tạo sinh: Các tài liệu hoặc đoạn dữ liệu liên quan được tìm thấy trong quá trình truy xuất sẽ được kết hợp với câu hỏi gốc của người dùng. Prompt được làm phong phú này sau đó được gửi đến mô hình tạo sinh. Mô hình sử dụng ngữ cảnh được cung cấp này để tổng hợp câu trả lời, đảm bảo phản hồi dựa trên các sự kiện đã truy xuất. Để tìm hiểu sâu hơn về cơ chế này, IBM cung cấp hướng dẫn toàn diện về quy trình RAG.

Link to this sectionVisual RAG: Tích hợp Computer Vision#

Mặc dù RAG truyền thống dựa trên văn bản, sự phát triển của multi-modal learning đã giới thiệu "Visual RAG". Trong kịch bản này, các mô hình computer vision đóng vai trò là cơ chế truy xuất. Chúng phân tích hình ảnh hoặc luồng video để trích xuất dữ liệu văn bản có cấu trúc—chẳng hạn như tên đối tượng, số lượng hoặc hoạt động—sau đó được đưa vào LLM để trả lời các câu hỏi về cảnh quan thị giác.

Ví dụ, một nhà phát triển có thể sử dụng YOLO26 để phát hiện các đối tượng trong hình ảnh và chuyển danh sách đối tượng đó sang một mô hình văn bản để tạo báo cáo mô tả.

from ultralytics import YOLO

# Load the YOLO26 model for state-of-the-art detection
model = YOLO("yolo26n.pt")

# Perform inference to 'retrieve' visual facts from an image
results = model("https://ultralytics.com/images/bus.jpg")

# Extract class names to build a text context for an LLM
detected_classes = [model.names[int(c)] for c in results[0].boxes.cls]
context_string = f"The scene contains: {', '.join(detected_classes)}."

print(context_string)
# Output example: "The scene contains: bus, person, person, person."

Link to this sectionCác ứng dụng trong thực tế#

RAG đang chuyển đổi các ngành công nghiệp bằng cách cho phép các AI agents truy cập dữ liệu độc quyền hoặc dữ liệu thời gian thực một cách an toàn.

• Cơ sở tri thức doanh nghiệp: Các công ty sử dụng RAG để xây dựng chatbot nội bộ nhằm giải đáp thắc mắc của nhân viên về các chính sách nhân sự hoặc tài liệu kỹ thuật. Bằng cách kết nối LLM với kho lưu trữ tài liệu trực tuyến, hệ thống tránh cung cấp thông tin chính sách đã lỗi thời. Để biết thêm về việc triển khai trong doanh nghiệp, hãy xem tổng quan của Google Cloud về RAG trong Vertex AI.
• Hỗ trợ quyết định lâm sàng: Trong lĩnh vực AI in healthcare, các hệ thống RAG có thể truy xuất lịch sử bệnh nhân và các bài báo nghiên cứu y khoa mới nhất để hỗ trợ bác sĩ trong việc chẩn đoán, đảm bảo lời khuyên được đưa ra dựa trên những nghiên cứu lâm sàng cập nhật nhất.
• Trợ lý bán lẻ thông minh: Các ứng dụng sử dụng AI in retail tận dụng RAG để kiểm tra cơ sở dữ liệu hàng tồn kho trực tiếp. Nếu khách hàng hỏi chatbot: "Bạn có đôi giày chạy bộ này ở kích cỡ 10 không?", mô hình sẽ truy xuất mức tồn kho thời gian thực trước khi trả lời, giúp tránh sự thất vọng về các mặt hàng đã hết kho.

Link to this sectionRAG so với Fine-Tuning#

Điều quan trọng là phải phân biệt RAG với fine-tuning, vì chúng giải quyết các vấn đề khác nhau.

• RAG (Retrieval Augmented Generation): Phù hợp nhất để truy cập dữ liệu động, thường xuyên thay đổi (ví dụ: giá cổ phiếu, tin tức) hoặc dữ liệu riêng tư không có trong tập dữ liệu đào tạo công khai. Nó tập trung vào việc cung cấp thông tin mới tại thời điểm chạy (runtime).
• Fine-Tuning: Phù hợp nhất để điều chỉnh hành vi, phong cách hoặc thuật ngữ của mô hình. Nó liên quan đến việc cập nhật model weights trên một tập dữ liệu cụ thể. Mặc dù fine-tuning giúp mô hình học một mẫu ngôn ngữ cụ thể (như thuật ngữ y tế), nó không cung cấp quyền truy cập vào các sự kiện thời gian thực. Xem hướng dẫn của OpenAI về fine-tuning so với RAG để có khung ra quyết định.

Link to this sectionCác khái niệm liên quan#

• LangChain: Một framework mã nguồn mở phổ biến được thiết kế đặc biệt để đơn giản hóa việc tạo các ứng dụng RAG bằng cách liên kết các bộ truy xuất (retriever) và LLM với nhau.
• Knowledge Graph: Một cách có cấu trúc để đại diện dữ liệu có thể được sử dụng làm nguồn truy xuất, cung cấp các mối quan hệ phong phú về ngữ cảnh hơn so với sự tương đồng vector đơn thuần.
• Prompt Engineering: Nghệ thuật xây dựng đầu vào để hướng dẫn mô hình. RAG về bản chất là một dạng tự động hóa của prompt engineering, trong đó "prompt" được làm phong phú bằng dữ liệu truy xuất theo lập trình.
• Ultralytics Platform: Trong khi RAG xử lý phía tạo văn bản, các nền tảng như thế này là rất cần thiết để quản lý việc data preprocessing và đào tạo các mô hình thị giác cung cấp dữ liệu hình ảnh vào các đường ống (pipeline) RAG đa phương thức.