Constrained Decoding
Tìm hiểu cách giải mã có ràng buộc thực thi JSON hợp lệ, lược đồ, ngữ pháp và đầu ra công cụ để giúp phản hồi AI an toàn hơn, có cấu trúc hơn và dễ phân tích cú pháp hơn cho phần mềm.
Giải mã ràng buộc là một kỹ thuật suy luận giúp giới hạn mô hình sinh ra các đầu ra hợp lệ trong quá trình tạo ra từng token. Thay vì cho phép mô hình chọn từ toàn bộ từ vựng, bộ giải mã sẽ loại bỏ các lựa chọn vi phạm quy tắc, chẳng hạn như danh sách nhãn cho phép, biểu thức chính quy, ngữ pháp hoặc JSON Schema. Điều này giúp các phản hồi từ mô hình trở nên dễ dàng và an toàn hơn cho phần mềm phân tích cú pháp, đặc biệt là khi hệ thống AI cần trả về dữ liệu có cấu trúc hoặc chọn một hành động được phép.
Cách hoạt động của giải mã ràng buộc#
Một mô hình ngôn ngữ tự hồi quy tạo ra một chuỗi từng token một. Tại mỗi bước, mô hình gán điểm số gọi là logit cho các token tiếp theo có thể xảy ra và thông thường chuyển đổi chúng thành xác suất sử dụng softmax. Giải mã ràng buộc chèn thêm một bước lọc bổ sung:
- Theo dõi phần đầu ra đã được tạo.
- Xác định những token tiếp theo nào vẫn hợp lệ theo ràng buộc.
- Che các token không hợp lệ để xác suất của chúng trở về không.
- Chọn hoặc lấy mẫu từ các token hợp lệ còn lại.
- Cập nhật trạng thái ràng buộc và lặp lại.
Tập hợp hợp lệ thay đổi một cách động. Ví dụ, sau khi tạo {"status": ", một schema có thể chỉ cho phép các token có thể hoàn thành "approved", "rejected" hoặc "review". Các engine cung cấp vLLM structured outputs có thể thực thi các lựa chọn, biểu thức chính quy, ngữ pháp và JSON Schema, trong khi Outlines JSON generation có thể suy ra các ràng buộc từ schema hoặc các mô hình Python có kiểu dữ liệu.
Giải mã ràng buộc đồ thị mô tả các triển khai biểu diễn các chuỗi hợp lệ dưới dạng các đường dẫn đi qua một đồ thị hoặc máy trạng thái. Mỗi token được tạo ra sẽ chuyển bộ giải mã sang một trạng thái khác, có các cạnh đi ra xác định các lựa chọn hợp lệ tiếp theo. Tiếp cận này hữu ích cho ngữ pháp, mối quan hệ thực thể và các quy tắc phụ thuộc trạng thái khác.
Các khái niệm liên quan và điểm khác biệt chính#
Giải mã ràng buộc có liên quan chặt chẽ đến một số khái niệm AI, nhưng chúng không thể thay thế cho nhau:
- Structured outputs: Kết quả mong muốn, chẳng hạn như một đối tượng có các trường bắt buộc và kiểu dữ liệu. Giải mã ràng buộc là một cơ chế được sử dụng để tạo ra kết quả đó. Các dịch vụ bao gồm OpenAI Structured Outputs, Claude structured outputs và Gemini structured outputs cung cấp các điều khiển dựa trên schema.
- JSON mode: Thường đảm bảo cú pháp JSON hợp lệ nhưng có thể không thực thi các khóa, kiểu dữ liệu hoặc giá trị cho phép cụ thể. Giải mã bị ràng buộc bởi schema hướng đến một cấu trúc cụ thể.
- Function calling and tool use: Định nghĩa cách một mô hình yêu cầu một thao tác bên ngoài. Giải mã ràng buộc có thể thực thi tên hàm và hình dáng đối số hợp lệ, nhưng ứng dụng vẫn thực thi và ủy quyền công cụ đó.
- Prompt engineering: Yêu cầu mô hình tuân theo một định dạng thông qua các hướng dẫn. Nó ảnh hưởng đến hành vi nhưng không loại bỏ token không hợp lệ một cách cơ học.
- Speculative decoding: Tăng tốc quá trình tạo bằng cách đề xuất và xác minh token. Mục tiêu chính của nó là tốc độ, trong khi giải mã ràng buộc kiểm soát tính hợp lệ.
Các hệ thống có kiểu dữ liệu có thể định nghĩa schema thông qua các công cụ như Pydantic JSON Schema thay vì phải viết thủ công mọi quy tắc.
Các ứng dụng trong thực tế#
Xử lý tài liệu: Hệ thống xử lý hóa đơn có thể trích xuất vendor, invoice_number, total và currency từ các tài liệu được quét. Giải mã ràng buộc đảm bảo rằng phản hồi có các khóa và kiểu dữ liệu dự kiến trước khi nó đi vào phần mềm kế toán. Nó ngăn chặn các payload bị lỗi định dạng, mặc dù không thể đảm bảo rằng tổng số được trích xuất là chính xác về mặt thực tế.
Tự động hóa an toàn dựa trên thị giác: Một hệ thống có thể sử dụng Ultralytics YOLO26 để phát hiện công nhân và thiết bị bảo hộ, sau đó gửi các quan sát liên quan đến một mô hình ngôn ngữ. Bộ giải mã có thể giới hạn quyết định của mô hình thành no_action, manual_review hoặc send_alert. Trong một Ultralytics Platform Agents workflow, các mô hình thị giác, điều kiện, mô hình ngôn ngữ và hành động có thể được kết nối để chỉ những hình ảnh đủ điều kiện mới chuyển sang các bước sau.
Ví dụ về quy trình làm việc thực tế#
Các dự đoán thị giác máy tính đã có cấu trúc thay vì được tạo ra theo từng token. Quy trình làm việc YOLO Predict mode sau đây tạo ra JSON có thể trở thành đầu vào cho một quyết định mô hình ngôn ngữ có ràng buộc ở hạ nguồn:
from ultralytics import YOLO
# Load the recommended object detection model
model = YOLO("yolo26n.pt")
# Run inference and select the first result
results = model("https://ultralytics.com/images/bus.jpg")
result = results[0]
# Serialize detections for a downstream constrained decoder
json_output = result.to_json()
print(json_output)Ở đây, to_json() thực hiện tuần tự hóa tất định chứ không phải giải mã ràng buộc. Bước ràng buộc sẽ diễn ra sau đó nếu một mô hình sinh chuyển đổi các phát hiện này thành báo cáo hoặc hành động bị giới hạn bởi schema.
Lợi ích, Giới hạn và Thực tiễn Tốt nhất#
Giải mã ràng buộc làm giảm lỗi phân tích cú pháp, số lần thử lại, các trường bất ngờ và các đối số công cụ không hợp lệ. Tuy nhiên, tính hợp lệ về cấu trúc không loại bỏ LLM hallucinations: một phản hồi được hình thành hoàn hảo vẫn có thể chứa các sự thật không chính xác hoặc hành động không phù hợp.
Sử dụng các schema hẹp, mô tả trường có ý nghĩa, enum cho các lựa chọn đóng và các trường có thể nhận giá trị null khi thông tin có thể không có sẵn. Xác thực các quy tắc nghiệp vụ sau khi tạo, xử lý các phản hồi bị từ chối và bị cắt ngắn, đồng thời kiểm tra tập hợp con schema được hỗ trợ của từng nhà cung cấp. Trong môi trường sản xuất, hãy đo lường chi phí biên dịch schema, độ trễ giải mã và độ chính xác ngữ nghĩa thay vì chỉ đánh giá mức độ tuân thủ định dạng.
