Context Window

Cửa sổ ngữ cảnh đề cập đến phạm vi tối đa của dữ liệu đầu vào—chẳng hạn như ký tự văn bản, phân đoạn âm thanh hoặc khung hình video—mà một mô hình học máy có thể xử lý và cân nhắc đồng thời trong quá trình vận hành. Trong lĩnh vực trí tuệ nhân tạo (AI), khái niệm này tương tự như trí nhớ ngắn hạn, xác định lượng thông tin mà hệ thống có thể "nhìn thấy" hoặc ghi nhớ tại bất kỳ thời điểm nào. Đối với các mô hình xử lý ngôn ngữ tự nhiên (NLP) như Transformers, cửa sổ này được đo bằng tokens, xác định độ dài của lịch sử hội thoại mà AI có thể duy trì. Trong thị giác máy tính (CV), ngữ cảnh thường mang tính thời gian hoặc không gian, cho phép mô hình hiểu được chuyển động và tính liên tục trên một chuỗi hình ảnh.

Link to this sectionCác ứng dụng trong thực tế#

Tiện ích thực tế của cửa sổ ngữ cảnh mở rộng xa hơn việc đệm dữ liệu đơn thuần, đóng vai trò then chốt trong nhiều lĩnh vực nâng cao:

• AI hội thoại và Chatbot: Trong kiến trúc của các chatbot và trợ lý ảo hiện đại, cửa sổ ngữ cảnh đóng vai trò là bộ đệm lịch sử hội thoại. Một cửa sổ lớn hơn cho phép tác nhân ghi nhớ các chi tiết cụ thể đã được đề cập trước đó trong một cuộc đối thoại dài, tránh gây phiền toái khi phải lặp lại thông tin.
• Theo dõi đối tượng trong video: Đối với các tác vụ thị giác, ngữ cảnh thường mang tính thời gian. Các thuật toán theo dõi đối tượng cần ghi nhớ vị trí và diện mạo của một thực thể qua nhiều khung hình để duy trì danh tính của nó, đặc biệt là trong các tình huống bị che khuất. Các mô hình Ultralytics YOLO26 mới nhất tận dụng quá trình xử lý hiệu quả để duy trì độ chính xác cao trong các tác vụ theo dõi bằng cách sử dụng hiệu quả ngữ cảnh thời gian này.
• Phân tích chuỗi thời gian tài chính: Các chiến lược đầu tư thường dựa trên mô hình dự đoán kiểm tra dữ liệu thị trường lịch sử. Ở đây, cửa sổ ngữ cảnh xác định số lượng điểm dữ liệu quá khứ (ví dụ: giá cổ phiếu trong 30 ngày qua) mà mô hình cân nhắc để dự báo các xu hướng tương lai, một kỹ thuật trọng tâm trong tài chính định lượng.

Link to this sectionPhân biệt các khái niệm liên quan#

Để triển khai các giải pháp AI một cách chính xác, việc phân biệt cửa sổ ngữ cảnh với các thuật ngữ tương tự trong bảng thuật ngữ là rất hữu ích:

• Cửa sổ ngữ cảnh và Trường tiếp nhận: Mặc dù cả hai thuật ngữ đều mô tả phạm vi của dữ liệu đầu vào, "Trường tiếp nhận" (Receptive Field) dành riêng cho Mạng thần kinh tích chập (CNNs) và đề cập đến khu vực không gian của một hình ảnh ảnh hưởng đến một bản đồ đặc trưng đơn lẻ. Ngược lại, "Cửa sổ ngữ cảnh" thường đề cập đến một khoảng thời gian hoặc trình tự trong các luồng dữ liệu.
• Cửa sổ ngữ cảnh và Token hóa: Cửa sổ ngữ cảnh là một vùng chứa cố định, trong khi token hóa là phương pháp lấp đầy nó. Văn bản hoặc dữ liệu được chia nhỏ thành các tokens, và hiệu suất của trình token hóa quyết định lượng thông tin thực tế vừa với cửa sổ. Các trình token hóa sub-word hiệu quả có thể chứa nhiều ý nghĩa ngữ nghĩa hơn trong cùng một kích thước cửa sổ so với các phương pháp theo cấp độ ký tự.
• Cửa sổ ngữ cảnh và Batch Size: Batch size quy định số lượng mẫu độc lập được xử lý song song trong quá trình huấn luyện mô hình, trong khi cửa sổ ngữ cảnh quy định độ dài hoặc kích thước của một mẫu đơn lẻ dọc theo chiều trình tự của nó.

Link to this sectionVí dụ: Ngữ cảnh thời gian trong thị giác máy tính#

Mặc dù thường được thảo luận trong văn bản, ngữ cảnh rất quan trọng đối với các tác vụ thị giác nơi lịch sử là yếu tố then chốt. Đoạn mã Python sau đây sử dụng gói ultralytics để thực hiện theo dõi đối tượng. Tại đây, mô hình duy trì một "ngữ cảnh" về danh tính đối tượng qua các khung hình video để đảm bảo rằng một chiếc xe được phát hiện ở khung hình 1 được nhận diện là cùng một chiếc xe đó ở khung hình 10.

from ultralytics import YOLO

# Load the YOLO26n model (latest generation)
model = YOLO("yolo26n.pt")

# Perform object tracking on a video file
# The tracker uses temporal context to preserve object IDs across frames
results = model.track(source="path/to/video.mp4", show=True)

Link to this sectionThách thức và các hướng phát triển trong tương lai#

Việc quản lý các cửa sổ ngữ cảnh đòi hỏi sự cân bằng liên tục giữa hiệu suất và tài nguyên. Một cửa sổ quá ngắn có thể dẫn đến "mất trí nhớ mô hình", nơi AI mất dấu câu chuyện hoặc quỹ đạo đối tượng. Tuy nhiên, các cửa sổ quá lớn sẽ làm tăng độ trễ suy luận và mức tiêu thụ bộ nhớ, gây khó khăn cho việc suy luận thời gian thực trên các thiết bị Edge AI.

Để giảm thiểu vấn đề này, các nhà phát triển sử dụng các chiến lược như Retrieval-Augmented Generation (RAG), cho phép mô hình lấy thông tin liên quan từ một cơ sở dữ liệu vector bên ngoài thay vì giữ mọi thứ trong cửa sổ ngữ cảnh tức thời. Ngoài ra, các công cụ như Ultralytics Platform giúp các nhóm quản lý tập dữ liệu lớn và giám sát hiệu suất triển khai để tối ưu hóa cách các mô hình xử lý ngữ cảnh trong môi trường sản xuất. Các framework như PyTorch tiếp tục phát triển, cung cấp hỗ trợ tốt hơn cho các cơ chế chú ý thưa thớt, cho phép các cửa sổ ngữ cảnh khổng lồ với chi phí tính toán tuyến tính thay vì bậc hai. Những đổi mới trong kiến trúc mô hình, như những gì thấy được trong quá trình chuyển đổi sang các khả năng end-to-end của YOLO26, tiếp tục tinh chỉnh cách ngữ cảnh hình ảnh được xử lý để đạt hiệu quả tối đa.