Context Rot

Context rot là sự sụt giảm độ tin cậy dần dần xảy ra khi một AI model nhận được nhiều ngữ cảnh hơn mức nó có thể sử dụng hiệu quả. Ngay cả khi một context window được quảng cáo có thể chứa hàng trăm nghìn token về mặt kỹ thuật, một large language model vẫn có thể bỏ sót các thông tin liên quan, làm theo các hướng dẫn lỗi thời hoặc suy luận kém chính xác hơn khi input tăng lên. Một nghiên cứu về Chroma context rot năm 2025 đã quan sát thấy hiệu suất không đồng nhất này trên 18 model và một số tác vụ được kiểm soát. (trychroma.com)

Link to this sectionContext Rot xảy ra như thế nào#

Các input dài đặt ra nhu cầu cao hơn cho attention mechanism của model. Các bằng chứng quan trọng phải cạnh tranh với các hướng dẫn lặp lại, tài liệu không liên quan, đầu ra của công cụ và các lượt hội thoại cũ hơn. Vị trí ngữ cảnh, sự tương đồng về ngữ nghĩa, các thông tin mâu thuẫn và độ phức tạp của tác vụ đều có thể ảnh hưởng đến những gì model sử dụng.

Benchmark RULER long-context 2024 cho thấy các model hoạt động tốt trong việc truy xuất đơn giản thường bị suy giảm hiệu suất khi độ dài chuỗi và độ phức tạp tác vụ tăng lên. Benchmark NoLiMa 2025 cho thấy sự sụt giảm lớn hơn khi việc tìm câu trả lời đòi hỏi khả năng suy luận ngữ nghĩa thay vì khớp các từ giống hệt nhau. Do đó, không có con số token phổ quát nào—kể cả đối với các Gemini model—mà tại đó context rot bắt đầu; ngưỡng này phụ thuộc vào model, cấu trúc prompt và tác vụ. (arxiv.org)

Link to this sectionVí dụ thực tế#

• Trợ lý hỗ trợ khách hàng: Một chatbot được cung cấp dữ liệu của nhiều năm có thể ưu tiên một chính sách lỗi thời hoặc bỏ lỡ một bản cập nhật tài khoản gần đây. Nghiên cứu sử dụng bộ nhớ hội thoại LongMemEval và benchmark đa phương thức LoCoMo cho thấy rằng việc trích xuất, cập nhật và suy luận trên lịch sử tương tác dài vẫn là một thách thức. (arxiv.org)
• Tác nhân kiểm tra trực quan: Một vision-language model giám sát nhà máy có thể trở nên kém tin cậy hơn nếu mọi khung hình, phát hiện và nhật ký bảo trì đều được đưa vào một prompt. Một workflow tốt hơn là sử dụng Ultralytics YOLO26 để trích xuất các thông tin trực quan cô đọng trước khi thực hiện suy luận bằng ngôn ngữ mô hình.
• Tác nhân lập trình: Tải toàn bộ repository, mọi định nghĩa công cụ và lịch sử terminal hoàn chỉnh có thể làm lu mờ mục tiêu hiện tại. Hướng dẫn kỹ thuật ngữ cảnh của Anthropic khuyến nghị quản lý ngữ cảnh, trong khi phương pháp Agent Skills của họ chỉ tải các tài nguyên chi tiết khi cần thiết. (anthropic.com)

Workflow YOLO predict này minh họa việc chuyển đổi các phát hiện thô thành ngữ cảnh có cấu trúc, cô đọng:

from ultralytics import YOLO

model = YOLO("yolo26n.pt")
result = model("https://ultralytics.com/images/bus.jpg")[0]
labels = [model.names[int(cls)] for cls in result.boxes.cls]
context = {"frame": 1, "objects": sorted(set(labels))}
print(context)

Link to this sectionCách giảm thiểu Context Rot#

• Chỉ truy xuất bằng chứng liên quan: Sử dụng semantic chunking và reranker thay vì gửi mọi tài liệu có sẵn.
• Nén thông tin cũ: Thay thế lịch sử dài bằng các bản tóm tắt, quyết định và các tác vụ chưa được giải quyết đã được xác minh. Nghiên cứu cho thấy độ dài input có thể làm giảm hiệu suất ngay cả sau khi truy xuất thành công. (arxiv.org)
• Bảo tồn các tiền tố ổn định: OpenAI prompt caching và Gemini context caching có thể giảm chi phí xử lý lặp lại, mặc dù bản thân việc lưu vào bộ nhớ đệm không cải thiện chất lượng ngữ cảnh.
• Sử dụng sliding windows: Google khuyến nghị nén context-window cho các phiên trực tiếp dài, giữ lại thông tin gần đây trong khi loại bỏ các token cũ hơn. (ai.google.dev)
• Đánh giá ở độ dài thực tế: Áp dụng model monitoring và tái tạo các thử nghiệm có kiểm soát với bộ công cụ context rot mã nguồn mở.

Context rot khác với ảo giác (hallucination), là một đầu ra không được hỗ trợ; quên thảm họa (catastrophic forgetting), làm thay đổi kiến thức của model trong quá trình training; và trôi dữ liệu (data drift), phản ánh các input sản xuất thay đổi. Context rot chủ yếu là lỗi trong quá trình inference về lựa chọn ngữ cảnh và suy luận, biến context engineering hiệu quả thành biện pháp phòng thủ chính.