Cửa sổ ngữ cảnh

Cửa sổ ngữ cảnh (context window) là một khái niệm cơ bản trong học máy (ML) đề cập đến lượng thông tin cố định mà một mô hình có thể xem xét tại một thời điểm khi xử lý dữ liệu tuần tự. Hãy coi nó như bộ nhớ ngắn hạn của mô hình. Cho dù dữ liệu là văn bản, một chuỗi giá cổ phiếu hoặc các khung hình trong một video, cửa sổ ngữ cảnh xác định mô hình có thể "nhìn thấy" bao nhiêu về quá khứ gần đây để hiểu đầu vào hiện tại và đưa ra một dự đoán chính xác. Cơ chế này rất quan trọng đối với các tác vụ mà ngữ cảnh là chìa khóa để giải thích, chẳng hạn như trong Xử lý ngôn ngữ tự nhiên (NLP) và phân tích chuỗi thời gian.

Context Window hoạt động như thế nào?

Các mô hình xử lý dữ liệu tuần tự, chẳng hạn như Mạng nơ-ron hồi quy (RNN) và đặc biệt là Transformer, dựa vào một cửa sổ ngữ cảnh. Khi một mô hình phân tích một phần dữ liệu trong một chuỗi, nó không chỉ xem xét điểm dữ liệu đơn lẻ đó một cách riêng biệt. Thay vào đó, nó xem xét điểm dữ liệu cùng với một số lượng điểm dữ liệu trước đó nhất định—nhóm các điểm này là cửa sổ ngữ cảnh. Ví dụ: trong một mô hình ngôn ngữ, để dự đoán từ tiếp theo trong một câu, mô hình sẽ xem xét một vài từ cuối cùng. Số lượng từ mà nó xem xét được xác định bởi kích thước cửa sổ ngữ cảnh của nó. Điều này giúp mô hình nắm bắt các phụ thuộc và mẫu hình, rất cần thiết để hiểu thông tin tuần tự. Tổng quan về cách thức hoạt động của các mô hình ngôn ngữ có thể được tìm thấy trong giới thiệu về LLM này.

Các ví dụ về Context Window trong các ứng dụng AI/ML thực tế

Khái niệm về cửa sổ ngữ cảnh (context window) là một phần không thể thiếu trong nhiều ứng dụng AI:

• Chatbot và Trợ lý ảo: Các chatbot hiện đại sử dụng cửa sổ ngữ cảnh để duy trì lịch sử hội thoại. Điều này cho phép chúng hiểu các câu hỏi tiếp theo, tham khảo lại các điểm trước đó và cung cấp các tương tác tự nhiên, mạch lạc hơn, tránh các phản hồi lặp đi lặp lại hoặc không liên quan. Các mô hình như Gemini của Google tận dụng các cửa sổ ngữ cảnh lớn cho các cuộc đối thoại phức tạp.
• Phân tích chuỗi thời gian để dự báo tài chính: Các mô hình tài chính phân tích chuỗi giá cổ phiếu trong quá khứ, các chỉ số kinh tế hoặc khối lượng giao dịch trong một khoảng thời gian xác định để dự đoán biến động thị trường trong tương lai. Kích thước cửa sổ xác định lượng dữ liệu lịch sử ảnh hưởng đến dự đoán. Ứng dụng AI trong lĩnh vực tài chính thường dựa vào các cửa sổ ngữ cảnh được điều chỉnh cẩn thận.
• Thuật toán dự đoán văn bản (Predictive Text Algorithms): Khi bạn nhập liệu trên điện thoại thông minh, bàn phím sẽ gợi ý từ tiếp theo dựa trên các từ đứng trước trong phạm vi ngữ cảnh của nó, giúp cải thiện tốc độ và độ chính xác khi gõ. Tính năng này là một ứng dụng trực tiếp của một cửa sổ ngữ cảnh nhỏ, hiệu quả.

Các cân nhắc chính và các khái niệm liên quan

Việc chọn kích thước cửa sổ ngữ cảnh phù hợp liên quan đến sự đánh đổi. Cửa sổ lớn hơn có thể nắm bắt nhiều ngữ cảnh hơn và có khả năng cải thiện độ chính xác của mô hình, đặc biệt đối với các tác vụ yêu cầu hiểu sự phụ thuộc tầm xa. Tuy nhiên, chúng đòi hỏi nhiều bộ nhớ và sức mạnh tính toán hơn, có khả năng làm chậm quá trình huấn luyện và suy luận. Các kỹ thuật như Transformer-XL đang được phát triển để xử lý các ngữ cảnh dài hơn một cách hiệu quả hơn, như được trình bày chi tiết trong nghiên cứu từ Đại học Carnegie Mellon.

Việc phân biệt Context Window với các thuật ngữ liên quan rất hữu ích:

• Trường tiếp nhận: Mặc dù tương tự về mặt khái niệm (vùng đầu vào ảnh hưởng đến đầu ra), các trường tiếp nhận thường đề cập đến phạm vi không gian trong các đầu vào như hình ảnh được xử lý bởi Mạng nơ-ron tích chập (CNN). Cửa sổ ngữ cảnh thường áp dụng cho dữ liệu tuần tự (văn bản, chuỗi thời gian, khung hình video).
• Độ dài chuỗi (Sequence Length): Trong nhiều mô hình, đặc biệt là Transformer, kích thước cửa sổ ngữ cảnh xác định trực tiếp độ dài chuỗi tối đa mà mô hình có thể xử lý cùng một lúc. Các chuỗi dài hơn có thể cần phải được cắt ngắn hoặc xử lý bằng cách sử dụng các kiến trúc chuyên dụng. Điều này rất liên quan đến các mô hình Sequence-to-Sequence.

Các framework như PyTorch (thông qua trang web PyTorch chính thức) và TensorFlow (được trình bày chi tiết trên trang web chính thức của TensorFlow) cung cấp các công cụ để xây dựng mô hình trong đó cửa sổ ngữ cảnh là một tham số quan trọng. Triển khai mô hình hiệu quả thường đòi hỏi tối ưu hóa việc xử lý ngữ cảnh, có thể được quản lý thông qua các nền tảng như Ultralytics HUB.