Context Rot

Context rot (suy giảm ngữ cảnh) là sự mất dần độ tin cậy xảy ra khi một mô hình AI nhận được nhiều ngữ cảnh hơn mức nó có thể sử dụng một cách hiệu quả. Ngay cả khi một context window được quảng cáo có thể chứa về mặt kỹ thuật hàng trăm nghìn token, một large language model vẫn có thể bỏ sót các dữ liệu liên quan, làm theo các hướng dẫn lỗi thời hoặc suy luận kém chính xác hơn khi đầu vào tăng lên. Một nghiên cứu Chroma context rot study năm 2025 đã quan sát thấy hiệu suất không đồng đều này trên 18 mô hình và một số tác vụ được kiểm soát. (trychroma.com)

Context Rot xảy ra như thế nào#

Các đầu vào dài đặt ra yêu cầu lớn hơn đối với attention mechanism của mô hình. Các bằng chứng quan trọng phải cạnh tranh với các hướng dẫn lặp đi lặp lại, tài liệu không liên quan, đầu ra của công cụ và các lượt trò chuyện cũ hơn. Vị trí ngữ cảnh, độ tương đồng ngữ nghĩa, các dữ kiện mâu thuẫn và độ phức tạp của tác vụ đều có thể ảnh hưởng đến những gì mô hình sử dụng.

Nghiên cứu RULER long-context benchmark năm 2024 cho thấy các mô hình hoạt động tốt trong việc truy xuất đơn giản thường suy giảm khi độ dài chuỗi và độ phức tạp tác vụ tăng lên. Nghiên cứu NoLiMa benchmark năm 2025 đã cho thấy sự sụt giảm lớn hơn khi việc tìm kiếm câu trả lời đòi hỏi suy luận ngữ nghĩa thay vì khớp các từ giống hệt nhau. Do đó, không có số lượng token phổ quát nào—kể cả đối với các mô hình Gemini—mà tại đó context rot bắt đầu; ngưỡng này phụ thuộc vào mô hình, cấu trúc prompt và tác vụ. (arxiv.org)

Ví dụ thực tế#

• Trợ lý hỗ trợ khách hàng: Một chatbot được cung cấp dữ liệu vé hỗ trợ trong nhiều năm có thể ưu tiên một chính sách lỗi thời hoặc bỏ lỡ bản cập nhật tài khoản gần đây. Nghiên cứu sử dụng bộ nhớ hội thoại LongMemEval conversational memory và benchmark đa phương thức LoCoMo benchmark cho thấy việc trích xuất, cập nhật và suy luận trên các lịch sử tương tác dài vẫn là một thách thức. (arxiv.org)
• Tác nhân kiểm tra trực quan: Một vision-language model theo dõi một nhà máy có thể trở nên kém tin cậy hơn nếu mọi khung hình, kết quả phát hiện và nhật ký bảo trì được đưa vào cùng một prompt. Quy trình làm việc tốt hơn là sử dụng Ultralytics YOLO26 để trích xuất các dữ kiện trực quan ngắn gọn trước khi mô hình ngôn ngữ tiến hành suy luận.
• Tác nhân lập trình: Việc tải toàn bộ kho mã nguồn, mọi định nghĩa công cụ và lịch sử thiết bị đầu cuối hoàn chỉnh có thể làm lu mờ mục tiêu hiện tại. Anthropic’s context-engineering guidance khuyến nghị quản lý ngữ cảnh, trong khi phương pháp Agent Skills approach của hãng chỉ tải các tài nguyên chi tiết khi cần thiết. (anthropic.com)

YOLO predict workflow này minh họa cách chuyển đổi các kết quả phát hiện thô thành ngữ cảnh có cấu trúc, gọn gàng:

from ultralytics import YOLO

model = YOLO("yolo26n.pt")
result = model("https://ultralytics.com/images/bus.jpg")[0]
labels = [model.names[int(cls)] for cls in result.boxes.cls]
context = {"frame": 1, "objects": sorted(set(labels))}
print(context)

Cách giảm thiểu Context Rot#

• Retrieve only relevant evidence: Sử dụng semantic chunking và reranker thay vì gửi mọi tài liệu khả dụng.
• Compress older information: Thay thế lịch sử dài bằng các bản tóm tắt đã được xác minh, các quyết định và các tác vụ chưa được giải quyết. Nghiên cứu cho thấy độ dài đầu vào có thể làm giảm hiệu suất ngay cả sau khi truy xuất thành công. (arxiv.org)
• Bảo tồn tiền tố ổn định: OpenAI prompt caching và Gemini context caching có thể làm giảm chi phí xử lý lặp lại, mặc dù việc lưu vào bộ nhớ đệm đơn thuần không cải thiện chất lượng ngữ cảnh.
• Sử dụng cửa sổ trượt: Google khuyến nghị context-window compression for long live sessions, giữ lại thông tin gần đây đồng thời loại bỏ các token cũ hơn. (ai.google.dev)
• Đánh giá ở độ dài thực tế: Áp dụng model monitoring và tái tạo các thử nghiệm được kiểm soát bằng open context rot toolkit.

Context rot khác với hiện tượng ảo giác (hallucination), vốn là một đầu ra không có căn cứ; hiện tượng quên thảm khốc (catastrophic forgetting), làm thay đổi kiến thức của mô hình trong quá trình đào tạo; và trôi dạt dữ liệu (data drift), phản ánh các đầu vào sản xuất đang thay đổi. Context rot chủ yếu là một lỗi chọn lọc và suy luận ngữ cảnh tại thời điểm suy luận, do đó context engineering hiệu quả chính là biện pháp phòng thủ chính của nó.