Cấp phép YOLO
Quay lại Bảng thuật ngữ Ultralytics

Context Rot

Suy giảm ngữ cảnh là hiện tượng độ chính xác của LLM giảm khi đầu vào dài hơn, ngay cả khi vẫn còn xa giới hạn cửa sổ ngữ cảnh. Nội dung đề cập bằng chứng, nguyên nhân và cách khắc phục.

Context rot là sự suy giảm độ chính xác của mô hình ngôn ngữ lớn (LLM) khi đầu vào dài hơn, ngay cả khi đầu vào vẫn nằm gọn trong cửa sổ ngữ cảnh. Một model trả lời đúng từ prompt 300 token có thể bỏ lỡ cùng sự kiện đó, làm theo chỉ thị lỗi thời hoặc nhầm lẫn các chi tiết tương tự khi sự kiện ấy nằm giữa 100.000 token lịch sử hội thoại, tài liệu và đầu ra công cụ. Báo cáo context rot tháng 7 năm 2025 của Chroma đo lường tác động trên 18 model từ Anthropic, OpenAI, Google và Alibaba, gồm Claude Opus 4, GPT-4.1, Gemini 2.5 Pro và Qwen3; báo cáo nhận thấy độ chính xác giảm theo độ dài đầu vào trên mọi model, ngay cả với tác vụ đơn giản như sao chép một danh sách dài gồm các từ lặp lại.

Context rot biểu hiện như thế nào#

Các bài kiểm tra truy xuất đơn giản không cho thấy vấn đề này. Trong bài kiểm tra needle in a haystack (NIAH), sự kiện được chèn thường có chung từ ngữ với câu hỏi; các model tiên tiến hiện đạt gần 100% với hàng trăm nghìn token. Các bài kiểm tra khó hơn cho thấy mức suy giảm:

  • Vị trí: Nghiên cứu Lost in the Middle năm 2023 phát hiện model trả lời tốt nhất khi đoạn văn liên quan nằm ở đầu hoặc cuối prompt, và kém nhất khi đoạn đó nằm ở giữa.
  • Độ phức tạp của tác vụ: Benchmark RULER của NVIDIA bổ sung các tác vụ truy vết nhiều bước và tổng hợp; benchmark phát hiện chỉ một nửa trong số 17 model tuyên bố hỗ trợ từ 32K token trở lên đạt hiệu quả thỏa đáng ở mức 32K.
  • Không có khớp trực tiếp: NoLiMa diễn đạt mỗi câu hỏi sao cho có rất ít từ trùng với câu trả lời, buộc model phải suy ra mối liên hệ. Ở mức 32K token, 11 trong số 13 model đạt điểm thấp hơn một nửa so với điểm khi ngữ cảnh ngắn; GPT-4o giảm từ 99.3% xuống 69.7%.
  • Tác nhân gây nhiễu và bộ nhớ: Trong các bài kiểm tra của Chroma, chỉ một đoạn văn tương tự câu trả lời cũng làm giảm độ chính xác; với các câu hỏi hội thoại trong LongMemEval, mọi model đều đạt điểm cao hơn nhiều với prompt tập trung khoảng 300 token so với toàn bộ lịch sử dài khoảng 113.000 token.

Nguyên nhân#

Self-attention phân bổ một lượng trọng số softmax cố định cho mọi token, vì vậy mỗi token được thêm vào cạnh tranh với bằng chứng quan trọng; Anthropic gọi đây là ngân sách attention của model. Model cũng học các mẫu attention từ dữ liệu huấn luyện, trong đó chuỗi ngắn phổ biến hơn chuỗi dài; các chỉ thị cũ, sự kiện đã bị thay thế và đoạn văn gần trùng lặp khiến model phải chọn giữa nhiều câu trả lời có vẻ hợp lý. Cấu trúc cũng có ý nghĩa: trong các bài kiểm tra của Chroma, những tập hợp câu bị xáo trộn, rời rạc làm giảm độ chính xác ít hơn các bài luận mạch lạc.

  • Cửa sổ ngữ cảnh: Giới hạn cứng về số lượng token mà model chấp nhận. Context rot xảy ra trước khi đạt đến giới hạn đó.
  • Ảo giác: Bất kỳ đầu ra nào không được đầu vào hoặc sự thật hỗ trợ. Prompt dài và gây phân tán làm tăng tỷ lệ ảo giác; trong các bài kiểm tra tác nhân gây nhiễu của Chroma, model GPT thường tạo ảo giác nhất, còn model Claude thường từ chối trả lời hơn.
  • Quên thảm họa: Mất các kỹ năng trước đó khi việc huấn luyện làm thay đổi trọng số của model. Context rot không làm thay đổi trọng số và xảy ra trong lúc suy luận.
  • Trôi dạt dữ liệu: Sự thay đổi theo thời gian trong các đầu vào mà model đã triển khai nhận được.

Giảm context rot#

Giải pháp là kỹ thuật ngữ cảnh: cung cấp cho model tập token liên quan nhỏ nhất trong mỗi lần gọi. Tạo sinh tăng cường truy xuất (RAG) kết hợp chia đoạn ngữ nghĩa và bộ xếp hạng lại để gửi một vài đoạn liên quan thay vì toàn bộ tập tài liệu; nén prompt rút ngắn phần còn lại. Hướng dẫn của Anthropic về kỹ thuật ngữ cảnh cho tác tử AI bổ sung ba kỹ thuật cho tác vụ dài: nén gọn, thay các lượt cũ bằng bản tóm tắt; ghi chú có cấu trúc mà tác tử AI lưu bên ngoài cửa sổ rồi đọc lại sau, một dạng bộ nhớ tình tiết; và tác tử con khám phá bằng hàng chục nghìn token trong cửa sổ riêng rồi trả về bản tóm tắt dài 1.000-2.000 token.

Kỹ năng agent áp dụng cách tải chỉ thị đúng lúc tương tự. Trong Ultralytics Agent Skills, kỹ năng định tuyến yolo ánh xạ yêu cầu sang một trong sáu kỹ năng vòng đời, chẳng hạn yolo-training hoặc yolo-export, để coding agent chỉ tải hướng dẫn YOLO chi tiết cho giai đoạn đang thực hiện.

Khám phá các giải pháp

Thị giác máy tính trong thể thao

Thị giác máy tính trong thể thao

Khám phá cách Ultralytics YOLO thúc đẩy thị giác máy tính trong thể thao với khả năng theo dõi cầu thủ và bóng, phân tích hiệu suất, cung cấp thông tin chuyên sâu cho huấn luyện và hỗ trợ phục hồi cho vận động viên.
Tìm hiểu thêm
Thị giác máy tính cho ảnh hàng không

Thị giác máy tính cho ảnh hàng không

Chuyển hình ảnh từ drone và ảnh hàng không thành thông tin chuyên sâu theo thời gian thực cho nông nghiệp, nuôi trồng thủy sản, bảo tồn và phân tích không gian địa lý với Ultralytics YOLO.
Tìm hiểu thêm
Thị giác máy tính trong hàng không vũ trụ

Thị giác máy tính trong hàng không vũ trụ

Ứng dụng computer vision trong ngành hàng không vũ trụ với Ultralytics YOLO cho kiểm tra máy bay, phát hiện dị vật trên đường băng (FOD), vận hành mặt đất tại sân bay và phát hiện lỗi vật liệu composite.
Tìm hiểu thêm
Computer vision trong lĩnh vực an ninh

Computer vision trong lĩnh vực an ninh

Bảo vệ mọi địa điểm bằng model Ultralytics YOLO. Vision AI hỗ trợ giám sát vành đai, phát hiện mối đe dọa, nhận dạng biển số và an toàn nơi làm việc.
Tìm hiểu thêm
Computer vision trong robotics

Computer vision trong robotics

Tăng cường năng lực cho máy móc thông minh bằng model Ultralytics YOLO. Vision AI trong lĩnh vực robotics hỗ trợ điều hướng tự động, nhận thức, theo dõi đối tượng và điều khiển theo thời gian thực.
Tìm hiểu thêm
Thị giác máy tính trong logistics

Thị giác máy tính trong logistics

Tinh giản hoạt động logistics với các model Ultralytics YOLO. Vision AI hỗ trợ kiểm tra kiện hàng, phân loại, theo dõi phương tiện và giám sát an toàn kho hàng theo thời gian thực.
Tìm hiểu thêm
Thị giác máy tính trong bán lẻ

Thị giác máy tính trong bán lẻ

Định hình lại hoạt động bán lẻ với các model Ultralytics YOLO. Vision AI hỗ trợ theo dõi hàng tồn kho, giám sát kệ hàng, quản lý hàng chờ và phân tích khách hàng thông minh hơn.
Tìm hiểu thêm
Thị giác máy tính trong chăm sóc sức khỏe

Thị giác máy tính trong chăm sóc sức khỏe

Xây dựng các giải pháp chăm sóc sức khỏe với model Ultralytics YOLO. Vision AI trong chăm sóc sức khỏe hỗ trợ xử lý hình ảnh y tế nhanh hơn, chẩn đoán thông minh hơn và theo dõi bệnh nhân.
Tìm hiểu thêm
Thị giác máy tính trong sản xuất

Thị giác máy tính trong sản xuất

Tối ưu hóa sản xuất bằng các model Ultralytics YOLO. Vision AI thúc đẩy kiểm soát chất lượng, phát hiện lỗi, tuân thủ PPE và tự động hóa dây chuyền lắp ráp.
Tìm hiểu thêm
Thị giác máy tính trong ngành ô tô

Thị giác máy tính trong ngành ô tô

Ứng dụng thị giác máy tính trong ngành ô tô với các model Ultralytics YOLO. Vision AI nâng cao an toàn giao thông, hỗ trợ người lái và tự động hóa phương tiện để tạo nên những tuyến đường thông minh hơn.
Tìm hiểu thêm
Thị giác máy tính trong nông nghiệp

Thị giác máy tính trong nông nghiệp

Ứng dụng AI thị giác vào nông nghiệp thông minh với các model Ultralytics YOLO. Hỗ trợ giám sát cây trồng, theo dõi vật nuôi và canh tác chính xác để nâng cao năng suất một cách thông minh hơn.
Tìm hiểu thêm

Hãy cùng nhau kiến tạo tương lai của AI!

Bắt đầu hành trình hướng đến tương lai của machine learning