AI Guardrails

Guardrail AI là các bước kiểm tra được đặt quanh một model trí tuệ nhân tạo (AI) để kiểm tra nội dung đầu vào, đầu ra và các hành động được phép thực hiện, đồng thời chặn hoặc chuyển hướng mọi nội dung vi phạm chính sách. Guardrail nằm bên ngoài trọng số model: guardrail có thể chặn câu trả lời gây hại, số điện thoại bị rò rỉ hoặc khoản hoàn tiền trái phép ngay cả khi mô hình ngôn ngữ lớn (LLM) nền tảng bị đánh lừa để tạo ra nội dung đó. Guardrail bổ trợ cho các phương pháp huấn luyện an toàn như học tăng cường từ phản hồi của con người (RLHF) bằng cách áp đặt giới hạn trên toàn ứng dụng, bất kể xu hướng hành vi của chính model.

Các loại guardrail AI#

Guardrail được phân nhóm theo vị trí hoạt động. Guardrail đầu vào sàng lọc prompt, tệp tải lên và tài liệu truy xuất trước khi model tiếp nhận, tìm prompt injection, hành vi jailbreak, dữ liệu cá nhân hoặc yêu cầu ngoài chủ đề. Guardrail đầu ra kiểm tra phản hồi trước khi gửi đến người dùng hoặc phần mềm phía sau, tìm nội dung gây hại, bí mật bị lộ, hallucination mâu thuẫn với tài liệu nguồn hoặc đầu ra có cấu trúc không đáp ứng schema bắt buộc.

Guardrail hành động giới hạn các công cụ mà một AI agent có thể gọi, cùng tham số và quyền được sử dụng; đồng thời yêu cầu con người phê duyệt các bước quan trọng như thanh toán, xóa dữ liệu hoặc gửi email. Cô lập agent trong sandbox giúp cô lập mọi đoạn mã mà agent chạy. Guardrail hội thoại giữ cuộc trò chuyện trong các chủ đề được phép, chẳng hạn trợ lý ngân hàng từ chối trả lời câu hỏi y tế.

Cách triển khai guardrail#

Nhiều guardrail là bộ phân loại. Llama Guard của Meta, được giới thiệu năm 2023, là LLM được fine-tune để gán nhãn prompt và phản hồi là an toàn hoặc không an toàn dựa trên hệ phân loại rủi ro. Bộ phân loại theo Hiến chương của Anthropic, được huấn luyện trên dữ liệu tổng hợp tạo từ danh sách nội dung được phép và không được phép bằng văn bản, đã giảm tỷ lệ thành công của 10.000 lượt thử jailbreak tự động từ 86% xuống 4.4% trên Claude 3.5 Sonnet, đồng thời chỉ tăng 0.38% tỷ lệ từ chối trên lưu lượng thực tế và thêm 23.7% chi phí tính toán. Các guardrail khác là quy tắc: biểu thức chính quy phát hiện số thẻ tín dụng, danh sách cho phép đối với công cụ và schema cho tham số công cụ. Các framework như NeMo Guardrails của NVIDIA và Guardrails AI kết hợp cả hai loại thành pipeline có thể cấu hình.

Xác thực schema là guardrail hành động đơn giản nhất để xây dựng. Ví dụ dưới đây dùng Pydantic để kiểm tra các yêu cầu hoàn tiền do một LLM agent đề xuất trước khi thực thi bất kỳ yêu cầu nào:

from pydantic import BaseModel, Field, ValidationError


class Refund(BaseModel):
    """Refund action a support agent may request."""

    order_id: str = Field(pattern=r"^A\d{6}$")
    amount: float = Field(gt=0, le=200)  # larger refunds go to a human


# Two tool calls proposed by an LLM; the second follows instructions injected into a customer email
proposals = ['{"order_id": "A104233", "amount": 49.99}', '{"order_id": "A104233", "amount": 5000}']

# Action guardrail: execute only tool calls that pass the schema, block the rest
for proposal in proposals:
    try:
        refund = Refund.model_validate_json(proposal)
        print(f"Executed refund of ${refund.amount} for {refund.order_id}")
    except ValidationError as error:
        print(f"Blocked: {error.errors()[0]['msg']}")

Lần gọi đầu tiên in ra Executed refund of $49.99 for A104233, còn lần thứ hai in ra Blocked: Input should be less than or equal to 200, vì vậy chỉ dẫn được chèn vào không bao giờ đến được hệ thống thanh toán, dù được diễn đạt thuyết phục đến đâu.

Guardrail trong pipeline thị giác#

Các hệ thống thị giác dùng guardrail để quyết định khi nào đầu ra của model đủ đáng tin cậy để thực hiện hành động. Trong Ultralytics Platform Agents, block Gate kiểm soát việc thực thi ở các bước sau bằng điều kiện dựa trên kết quả YOLO26: template YOLO to VLM Monitor chỉ chạy model thị giác-ngôn ngữ khi phát hiện ít nhất một người. Chẩn đoán hình ảnh y khoa và xe tự hành áp dụng cùng mô hình này, chuyển các phát hiện không chắc chắn cho bác sĩ và chuyển sang trạng thái dừng an toàn khi hệ thống tri giác gặp lỗi.

Guardrail và các thuật ngữ liên quan#

• An toàn AI: Lĩnh vực rộng nhằm ngăn ngừa tác hại do AI gây ra. Guardrail là một trong những công cụ được dùng khi triển khai.
• AI theo hiến chương: Huấn luyện các nguyên tắc trực tiếp vào model. Guardrail thực thi quy tắc từ bên ngoài nên vẫn hoạt động khi huấn luyện thất bại.
• Quản trị AI: Các chính sách và luật xác định những gì một hệ thống AI được phép thực hiện. Guardrail là biện pháp kiểm soát kỹ thuật thực thi các quyết định đó khi hệ thống chạy.
• Red teaming AI: Tấn công một hệ thống để tìm ra những lỗ hổng mà guardrail chưa xử lý.

Guardrail cũng làm giảm tốc độ và mức độ hữu ích: mỗi bộ phân loại đều làm tăng độ trễ inference, còn guardrail càng nghiêm ngặt thì càng từ chối nhiều yêu cầu hợp lệ. Các nguyên mẫu Bộ phân loại theo Hiến chương của Anthropic đã chống chịu hơn 3.000 giờ red teaming theo chương trình săn lỗi mà không bị jailbreak phổ quát, nhưng lại từ chối quá nhiều truy vấn vô hại và cần quá nhiều năng lực tính toán.