Contextual Retrieval

Truy xuất theo ngữ cảnh là kỹ thuật lập chỉ mục cho tạo sinh tăng cường truy xuất (RAG), trong đó mô hình ngôn ngữ lớn (LLM) đọc toàn bộ từng tài liệu rồi viết một ghi chú ngắn, thường dài từ 50 đến 100 token, để đặt một chunk vào đúng ngữ cảnh của tài liệu. Ghi chú được thêm vào trước chunk, trước khi chunk được tạo embedding và đưa vào chỉ mục từ khóa, nhờ đó tìm kiếm có thể khớp với thông tin mà riêng chunk không hề nêu. Anthropic giới thiệu truy xuất theo ngữ cảnh vào tháng 9 năm 2024.

Vấn đề mà kỹ thuật này giải quyết#

Pipeline RAG chia tài liệu thành các chunk đủ nhỏ để tạo embedding chính xác và để có thể đưa nhiều chunk vào cửa sổ ngữ cảnh của model; tuy nhiên, một chunk được tách khỏi tài liệu thường mất những thông tin giúp tìm thấy nó. Ví dụ của Anthropic là một chunk từ hồ sơ tài chính có nội dung “Doanh thu của công ty tăng 3% so với quý trước.” Đoạn này không nêu tên công ty hoặc quý, nên câu hỏi về doanh thu của ACME trong quý 2 năm 2023 không có gì để khớp, dù dùng embedding hay tìm kiếm từ khóa. Truy xuất theo ngữ cảnh lưu đoạn này dưới dạng “Chunk này lấy từ hồ sơ SEC về hoạt động của ACME corp trong quý 2 năm 2023; doanh thu quý trước là 314 triệu USD. Doanh thu của công ty tăng 3% so với quý trước.”

Crop đối tượng cũng mất ngữ cảnh tương tự như chunk văn bản. Giải pháp crop đối tượng của Ultralytics chạy YOLO26 trên hình ảnh hoặc video và lưu từng detection thành một tệp riêng, crop_1.jpg, crop_2.jpg và tiếp theo, nên crop cho thấy một chiếc xe tải nhưng không cho biết xe xuất hiện ở camera, địa điểm hay cảnh nào. Lập chỉ mục mỗi crop cùng một tiền tố ngắn mô tả khung hình nguồn, chẳng hạn tên camera, thời gian và các đối tượng khác được phát hiện xung quanh, sẽ khôi phục ngữ cảnh đó cho tìm kiếm từ khóa và tìm kiếm ngữ nghĩa.

Cách truy xuất theo ngữ cảnh hoạt động#

Với mỗi chunk, LLM nhận toàn bộ tài liệu cùng chunk đó và được yêu cầu “viết một phần ngữ cảnh ngắn gọn để định vị chunk này trong toàn bộ tài liệu, nhằm cải thiện khả năng truy xuất khi tìm kiếm chunk”. Anthropic dùng Claude 3 Haiku với lưu cache prompt, xử lý mỗi tài liệu một lần rồi tái sử dụng tài liệu đó cho mọi chunk; chi phí một lần được ước tính là 1,02 USD cho mỗi triệu token tài liệu. Các chunk đã bổ sung ngữ cảnh được đưa vào chỉ mục embedding (“embedding theo ngữ cảnh”) và chỉ mục từ khóa BM25 (“BM25 theo ngữ cảnh”). Khi truy vấn, cả hai chỉ mục đều được tìm kiếm rồi hợp nhất kết quả như trong tìm kiếm lai; sau đó, bộ tái xếp hạng chấm điểm 150 ứng viên hàng đầu và 20 chunk tốt nhất được đưa vào prompt.

Tạo embedding cho chunk ví dụ có và không có ngữ cảnh cho thấy tác động lên tìm kiếm vector:

from sentence_transformers import SentenceTransformer

model = SentenceTransformer("sentence-transformers/all-MiniLM-L6-v2")

# Anthropic's example chunk and the context an LLM wrote for it from the full filing
chunk = "The company's revenue grew by 3% over the previous quarter."
context = "This chunk is from an SEC filing on ACME corp's performance in Q2 2023; the previous quarter's revenue was $314 million."
other = "Globex Corporation reported that Q2 2023 revenue fell 2% on weaker demand."

query = "How did ACME's revenue change in Q2 2023?"
candidates = {"plain chunk": chunk, "contextual chunk": f"{context} {chunk}", "Globex chunk": other}

# Cosine similarity of the query to each indexed text
scores = model.similarity(model.encode(query), model.encode(list(candidates.values())))[0]
for name, score in zip(candidates, scores):
    print(f"{name}: {score:.2f}")

Chunk thông thường đạt điểm 0,49 với câu hỏi, bằng với một chunk về công ty khác. Khi thêm ngữ cảnh vào trước, chunk đạt điểm 0,83 và xếp hạng đầu với khoảng cách lớn.

Contextual Retrieval và các kỹ thuật liên quan#

• Late chunking: Bổ sung ngữ cảnh tài liệu vào embedding của từng chunk thông qua cơ chế attention của embedding model mà không cần gọi LLM cho mỗi chunk. Văn bản chunk được lưu vẫn giữ nguyên, nên tìm kiếm từ khóa không được cải thiện.
• Semantic chunking: Xác định điểm bắt đầu và kết thúc của các chunk. Kỹ thuật này kết hợp với contextual retrieval, vốn bổ sung những thông tin mỗi chunk chưa nói rõ.
• Tiền tố tiêu đề và heading: Cách làm cũ, rẻ hơn là thêm cùng một tiêu đề tài liệu hoặc heading của mục vào đầu mỗi chunk. Contextual retrieval tạo một ghi chú khác nhau cho từng chunk.
• Context engineering: Thực hành rộng hơn nhằm quyết định nội dung đưa vào context window của model tại thời điểm inference. Contextual retrieval hoạt động sớm hơn một bước, trên nội dung được lập chỉ mục.

Mức cải thiện được đo lường#

Anthropic đo lường lỗi truy xuất bằng 1 trừ recall@20, tức tỷ lệ truy vấn không có chunk liên quan trong 20 kết quả đầu tiên. Pipeline cơ sở thất bại với 5.7% truy vấn. Embedding có ngữ cảnh giảm tỷ lệ này xuống 3.7%, giảm 35%; bổ sung BM25 có ngữ cảnh giảm xuống 2.9%, giảm 49%. Xếp hạng lại các kết quả kết hợp đưa tỷ lệ thất bại xuống 1.9%, giảm 67% so với cơ sở.