Context Rot
Suy giảm ngữ cảnh là hiện tượng độ chính xác của LLM giảm khi đầu vào dài hơn, ngay cả khi vẫn còn xa giới hạn cửa sổ ngữ cảnh. Nội dung đề cập bằng chứng, nguyên nhân và cách khắc phục.
Context rot là sự suy giảm độ chính xác của mô hình ngôn ngữ lớn (LLM) khi đầu vào dài hơn, ngay cả khi đầu vào vẫn nằm gọn trong cửa sổ ngữ cảnh. Một model trả lời đúng từ prompt 300 token có thể bỏ lỡ cùng sự kiện đó, làm theo chỉ thị lỗi thời hoặc nhầm lẫn các chi tiết tương tự khi sự kiện ấy nằm giữa 100.000 token lịch sử hội thoại, tài liệu và đầu ra công cụ. Báo cáo context rot tháng 7 năm 2025 của Chroma đo lường tác động trên 18 model từ Anthropic, OpenAI, Google và Alibaba, gồm Claude Opus 4, GPT-4.1, Gemini 2.5 Pro và Qwen3; báo cáo nhận thấy độ chính xác giảm theo độ dài đầu vào trên mọi model, ngay cả với tác vụ đơn giản như sao chép một danh sách dài gồm các từ lặp lại.
Context rot biểu hiện như thế nào#
Các bài kiểm tra truy xuất đơn giản không cho thấy vấn đề này. Trong bài kiểm tra needle in a haystack (NIAH), sự kiện được chèn thường có chung từ ngữ với câu hỏi; các model tiên tiến hiện đạt gần 100% với hàng trăm nghìn token. Các bài kiểm tra khó hơn cho thấy mức suy giảm:
- Vị trí: Nghiên cứu Lost in the Middle năm 2023 phát hiện model trả lời tốt nhất khi đoạn văn liên quan nằm ở đầu hoặc cuối prompt, và kém nhất khi đoạn đó nằm ở giữa.
- Độ phức tạp của tác vụ: Benchmark RULER của NVIDIA bổ sung các tác vụ truy vết nhiều bước và tổng hợp; benchmark phát hiện chỉ một nửa trong số 17 model tuyên bố hỗ trợ từ 32K token trở lên đạt hiệu quả thỏa đáng ở mức 32K.
- Không có khớp trực tiếp: NoLiMa diễn đạt mỗi câu hỏi sao cho có rất ít từ trùng với câu trả lời, buộc model phải suy ra mối liên hệ. Ở mức 32K token, 11 trong số 13 model đạt điểm thấp hơn một nửa so với điểm khi ngữ cảnh ngắn; GPT-4o giảm từ 99.3% xuống 69.7%.
- Tác nhân gây nhiễu và bộ nhớ: Trong các bài kiểm tra của Chroma, chỉ một đoạn văn tương tự câu trả lời cũng làm giảm độ chính xác; với các câu hỏi hội thoại trong LongMemEval, mọi model đều đạt điểm cao hơn nhiều với prompt tập trung khoảng 300 token so với toàn bộ lịch sử dài khoảng 113.000 token.
Nguyên nhân#
Self-attention phân bổ một lượng trọng số softmax cố định cho mọi token, vì vậy mỗi token được thêm vào cạnh tranh với bằng chứng quan trọng; Anthropic gọi đây là ngân sách attention của model. Model cũng học các mẫu attention từ dữ liệu huấn luyện, trong đó chuỗi ngắn phổ biến hơn chuỗi dài; các chỉ thị cũ, sự kiện đã bị thay thế và đoạn văn gần trùng lặp khiến model phải chọn giữa nhiều câu trả lời có vẻ hợp lý. Cấu trúc cũng có ý nghĩa: trong các bài kiểm tra của Chroma, những tập hợp câu bị xáo trộn, rời rạc làm giảm độ chính xác ít hơn các bài luận mạch lạc.
Context rot và các thuật ngữ liên quan#
- Cửa sổ ngữ cảnh: Giới hạn cứng về số lượng token mà model chấp nhận. Context rot xảy ra trước khi đạt đến giới hạn đó.
- Ảo giác: Bất kỳ đầu ra nào không được đầu vào hoặc sự thật hỗ trợ. Prompt dài và gây phân tán làm tăng tỷ lệ ảo giác; trong các bài kiểm tra tác nhân gây nhiễu của Chroma, model GPT thường tạo ảo giác nhất, còn model Claude thường từ chối trả lời hơn.
- Quên thảm họa: Mất các kỹ năng trước đó khi việc huấn luyện làm thay đổi trọng số của model. Context rot không làm thay đổi trọng số và xảy ra trong lúc suy luận.
- Trôi dạt dữ liệu: Sự thay đổi theo thời gian trong các đầu vào mà model đã triển khai nhận được.
Giảm context rot#
Giải pháp là kỹ thuật ngữ cảnh: cung cấp cho model tập token liên quan nhỏ nhất trong mỗi lần gọi. Tạo sinh tăng cường truy xuất (RAG) kết hợp chia đoạn ngữ nghĩa và bộ xếp hạng lại để gửi một vài đoạn liên quan thay vì toàn bộ tập tài liệu; nén prompt rút ngắn phần còn lại. Hướng dẫn của Anthropic về kỹ thuật ngữ cảnh cho tác tử AI bổ sung ba kỹ thuật cho tác vụ dài: nén gọn, thay các lượt cũ bằng bản tóm tắt; ghi chú có cấu trúc mà tác tử AI lưu bên ngoài cửa sổ rồi đọc lại sau, một dạng bộ nhớ tình tiết; và tác tử con khám phá bằng hàng chục nghìn token trong cửa sổ riêng rồi trả về bản tóm tắt dài 1.000-2.000 token.
Kỹ năng agent áp dụng cách tải chỉ thị đúng lúc tương tự. Trong Ultralytics Agent Skills, kỹ năng định tuyến yolo ánh xạ yêu cầu sang một trong sáu kỹ năng vòng đời, chẳng hạn yolo-training hoặc yolo-export, để coding agent chỉ tải hướng dẫn YOLO chi tiết cho giai đoạn đang thực hiện.










