Context Engineering

Kỹ thuật ngữ cảnh là phương pháp quyết định thông tin nào được đưa vào cửa sổ ngữ cảnh của model ở mỗi bước trong một ứng dụng AI: chỉ dẫn, ví dụ, tài liệu được truy xuất, định nghĩa công cụ, kết quả từ công cụ, bộ nhớ và lịch sử hội thoại, cũng như lượng thông tin của mỗi loại, thứ tự đưa vào và những gì cần loại bỏ. Thuật ngữ này phổ biến từ giữa năm 2025, khi tác tử AI bắt đầu thực hiện các tác vụ có hàng chục hoặc hàng trăm bước. Andrej Karpathy gọi đây là “nghệ thuật và khoa học tinh tế của việc đưa đúng thông tin cần thiết cho bước tiếp theo vào cửa sổ ngữ cảnh”, còn bài viết Kỹ thuật ngữ cảnh hiệu quả cho tác tử AI của Anthropic mô tả đây là việc tuyển chọn “tập hợp token tối ưu” trong quá trình suy luận. Kỹ thuật prompt, tức soạn thảo chính các chỉ dẫn, là một phần của phương pháp này.

Vì sao cần kỹ thuật ngữ cảnh#

Mô hình ngôn ngữ lớn (LLM) chỉ biết dữ liệu huấn luyện và những gì có trong ngữ cảnh, vì vậy thiếu ngữ cảnh sẽ tạo ra câu trả lời chung chung hoặc ảo giác. Ngữ cảnh quá nhiều cũng gây vấn đề. Độ chính xác giảm khi đầu vào tăng lên, hiện tượng này được gọi là sự suy giảm ngữ cảnh, và nghiên cứu Lost in the Middle cho thấy model sử dụng thông tin tốt nhất ở đầu hoặc cuối đầu vào dài, kém nhất ở giữa. Anthropic mô tả ngữ cảnh như một ngân sách chú ý với lợi ích giảm dần, trong đó mỗi token được thêm vào đều làm ngân sách cạn đi. Mỗi token cũng làm tăng chi phí và độ trễ suy luận. Vấn đề trở nên rõ rệt hơn với tác tử, vì mỗi bước nối thêm lời gọi công cụ và kết quả của chúng, khiến ngữ cảnh tăng lên sau mỗi hành động, dù thông tin mới còn hữu ích hay không.

Chiến lược cốt lõi#

Tổng quan về kỹ thuật ngữ cảnh của LangChain nhóm các kỹ thuật thành bốn chiến lược, tương ứng với những phương pháp xử lý tác vụ dài hạn mà Anthropic mô tả:

• Ghi lại: Lưu thông tin bên ngoài cửa sổ ngữ cảnh, trong vùng nháp, tệp ghi chú hoặc bộ nhớ dài hạn, để thông tin vẫn còn khi cuộc hội thoại chuyển sang nội dung khác. Anthropic gọi cách này là ghi chú có cấu trúc.
• Chọn lọc: Chỉ đưa vào những gì bước hiện tại cần, chẳng hạn các đoạn liên quan, ký ức hoặc mô tả công cụ. Anthropic mô tả các tác tử lưu những tham chiếu gọn nhẹ, như đường dẫn tệp hoặc truy vấn, rồi tải nội dung đúng lúc cần.
• Nén: Chỉ giữ lại các token mà tác vụ cần bằng cách tóm tắt hoặc cắt gọn. Quá trình thu gọn sẽ tóm tắt ngữ cảnh gần đầy rồi tiếp tục trong một cửa sổ mới dựa trên bản tóm tắt đó.
• Cô lập: Phân chia công việc cho các tác tử con có cửa sổ ngữ cảnh riêng, sạch, rồi trả kết quả cô đọng cho tác tử chính; hoặc giữ dữ liệu cồng kềnh trong sandbox hay đối tượng trạng thái thay vì trong ngữ cảnh.

Thứ tự và tính ổn định cũng quan trọng như nội dung. Bộ nhớ đệm prompt chỉ tái sử dụng tiền tố giống hệt nhau, vì vậy ngữ cảnh thường được sắp xếp với chỉ dẫn cố định và định nghĩa công cụ ở trước, nội dung thay đổi ở cuối. Khảo sát hơn 1.400 bài báo của Lingrui Mei và cộng sự tổ chức lĩnh vực này thành truy xuất và tạo ngữ cảnh, xử lý ngữ cảnh và quản lý ngữ cảnh, được triển khai trong tạo sinh tăng cường truy xuất, hệ thống bộ nhớ, suy luận tích hợp công cụ và hệ thống đa tác tử.

Công cụ, giao thức và kỹ năng#

Phần lớn ngữ cảnh của tác tử đến từ các công cụ; Model Context Protocol (MCP), do Anthropic giới thiệu vào tháng 11 năm 2024 và sau đó chuyển giao cho một tổ chức thuộc Linux Foundation, chuẩn hóa cách ứng dụng cung cấp công cụ và dữ liệu cho model. Định nghĩa công cụ cũng là ngữ cảnh: mỗi công cụ mà tác tử có thể gọi đều chiếm token trong mọi yêu cầu, vì vậy một số tác tử chỉ tải định nghĩa công cụ khi tác vụ cần đến. Kỹ năng tác tử áp dụng cùng ý tưởng cho chỉ dẫn, đóng gói hướng dẫn và tệp tham chiếu thành các thư mục mà tác tử chỉ tải khi tác vụ yêu cầu.

Kỹ năng tác tử Ultralytics sử dụng thiết kế này cho các tác tử lập trình làm việc với Ultralytics YOLO. Các kỹ năng chỉ tải khi có yêu cầu về tác vụ phù hợp; kỹ năng định tuyến yolo ánh xạ từng yêu cầu tới giai đoạn vòng đời liên quan, chẳng hạn như tập dữ liệu, huấn luyện hoặc xuất model; còn các thông tin phụ thuộc phiên bản như tên trọng số, tham số huấn luyện và định dạng xuất được lưu trong danh mục đối chiếu với bản phát hành ultralytics đã ghim. Mỗi kỹ năng đều yêu cầu tác tử ưu tiên gói đã cài đặt nếu có khác biệt.

Kỹ thuật ngữ cảnh và các thuật ngữ liên quan#

• Kỹ thuật prompt: Tập trung vào cách diễn đạt chỉ dẫn và ví dụ. Kỹ thuật ngữ cảnh quản lý mọi thứ khác được đưa tới model, qua tất cả các bước của ứng dụng.
• Làm giàu prompt: Bổ sung dữ liệu vào một yêu cầu riêng lẻ trước khi yêu cầu đó đến model; đây là một trong các thao tác chọn lọc thuộc kỹ thuật ngữ cảnh.
• Cửa sổ ngữ cảnh: Độ dài đầu vào tối đa của model, xác định ngân sách. Kỹ thuật ngữ cảnh quyết định cách sử dụng ngân sách đó; cửa sổ lớn hơn không loại bỏ nhu cầu này, vì độ chính xác giảm khi cửa sổ đầy lên.
• Tinh chỉnh: Thay đổi kiến thức của model bằng cách cập nhật trọng số. Kỹ thuật ngữ cảnh thay đổi những gì model thấy tại thời điểm suy luận mà không đụng đến trọng số.