AI Guardrails

AI 가드레일은 인공지능(AI) 모델에 들어가는 입력, 모델에서 나오는 출력, 모델이 취할 수 있는 행동을 검사하고 정책을 위반하는 내용을 차단하거나 다른 경로로 보내는 확인 절차입니다. 가드레일은 모델 가중치 외부에 위치합니다. 따라서 기반 대규모 언어 모델(LLM)이 속아서 유해한 답변, 유출된 전화번호 또는 승인되지 않은 환불을 생성하더라도 가드레일이 이를 막을 수 있습니다. 가드레일은 인간 피드백 기반 강화 학습(RLHF)과 같은 안전 학습을 보완해 모델 자체의 성향과 관계없이 애플리케이션 전체에 한계를 적용합니다.

AI 가드레일 유형#

가드레일은 작동 위치에 따라 분류합니다. 입력 가드레일은 모델이 보기 전에 프롬프트, 업로드된 파일, 검색된 문서를 검사해 프롬프트 인젝션, 탈옥 시도, 개인정보 또는 주제에서 벗어난 요청을 찾습니다. 출력 가드레일은 응답이 사용자나 다운스트림 소프트웨어에 전달되기 전에 유해한 콘텐츠, 유출된 비밀 정보, 원본 문서와 모순되는 환각, 필수 스키마를 위반하는 구조화된 출력을 검사합니다.

행동 가드레일은 AI 에이전트가 호출할 수 있는 도구와 인수 및 권한을 제한하고 결제, 삭제, 이메일 전송과 같은 중대한 단계에는 사람의 승인을 요구합니다. 에이전트 샌드박싱은 에이전트가 실행하는 코드를 격리합니다. 대화 가드레일은 의료 관련 질문을 거절하는 은행 상담원처럼 대화를 승인된 주제 안에 유지합니다.

가드레일 구현 방식#

많은 가드레일은 분류기입니다. Meta의 Llama Guard는 2023년에 공개되었으며, 위험 범주 분류 체계에 따라 프롬프트와 응답을 안전 또는 위험으로 레이블링하도록 파인튜닝된 LLM입니다. 작성된 허용 및 금지 콘텐츠 목록에서 생성한 합성 데이터로 학습한 Anthropic의 Constitutional Classifiers는 Claude 3.5 Sonnet에서 자동화된 탈옥 시도 10,000건의 성공률을 86%에서 4.4%로 낮췄습니다. 프로덕션 트래픽에서 거부율은 0.38% 증가했고 연산 오버헤드는 23.7% 추가되었습니다. 그 밖의 가드레일은 신용카드 번호 정규식, 도구 허용 목록, 도구 인수용 스키마와 같은 규칙입니다. NVIDIA의 NeMo Guardrails 및 Guardrails AI와 같은 프레임워크는 두 유형을 모두 구성 가능한 파이프라인에 결합합니다.

스키마 검증은 가장 간단하게 구현할 수 있는 행동 가드레일입니다. 아래 예제는 Pydantic을 사용해 LLM 에이전트가 제안한 환불 요청을 실행 전에 검증합니다.

from pydantic import BaseModel, Field, ValidationError


class Refund(BaseModel):
    """Refund action a support agent may request."""

    order_id: str = Field(pattern=r"^A\d{6}$")
    amount: float = Field(gt=0, le=200)  # larger refunds go to a human


# Two tool calls proposed by an LLM; the second follows instructions injected into a customer email
proposals = ['{"order_id": "A104233", "amount": 49.99}', '{"order_id": "A104233", "amount": 5000}']

# Action guardrail: execute only tool calls that pass the schema, block the rest
for proposal in proposals:
    try:
        refund = Refund.model_validate_json(proposal)
        print(f"Executed refund of ${refund.amount} for {refund.order_id}")
    except ValidationError as error:
        print(f"Blocked: {error.errors()[0]['msg']}")

첫 번째 호출은 Executed refund of $49.99 for A104233을 출력하고 두 번째 호출은 Blocked: Input should be less than or equal to 200을 출력하므로, 지시가 아무리 그럴듯하게 표현되더라도 삽입된 지시가 결제 시스템에 전달되지 않습니다.

비전 파이프라인의 가드레일#

비전 시스템은 모델 출력이 실제 행동을 유발할 만큼 신뢰할 수 있는지 판단할 때 가드레일을 사용합니다. Ultralytics Platform Agents에서 Gate 블록은 YOLO26 결과에 대한 조건으로 다운스트림 실행을 제어합니다. YOLO to VLM Monitor 템플릿은 사람이 한 명 이상 탐지된 경우에만 비전-언어 모델을 실행합니다. 의료 영상과 자율주행 차량에도 같은 패턴을 적용해 불확실한 결과는 임상의에게 전달하고, 인식에 실패하면 안전하게 정지합니다.

가드레일과 관련 용어 비교#

• AI 안전: AI로 인한 피해를 방지하는 폭넓은 분야입니다. 가드레일은 배포 시점에 사용하는 도구 중 하나입니다.
• 헌법적 AI: 원칙을 모델 자체에 학습시킵니다. 가드레일은 외부에서 규칙을 적용하므로 학습이 실패해도 계속 작동합니다.
• AI 거버넌스: AI 시스템이 할 수 있는 일을 결정하는 정책과 법률입니다. 가드레일은 실행 시점에 이러한 결정을 시행하는 기술적 제어 장치입니다.
• AI 레드팀 테스트: 가드레일이 막지 못하는 취약점을 찾기 위해 시스템을 공격합니다.

가드레일은 속도와 유용성을 저하시킬 수도 있습니다. 분류기가 추가될 때마다 추론 지연 시간이 늘고, 더 엄격한 분류기는 정당한 요청도 더 많이 거부합니다. Anthropic의 Constitutional Classifiers 시제품은 3,000시간이 넘는 버그 바운티 레드팀 테스트를 견디며 보편적인 탈옥 공격을 허용하지 않았지만, 무해한 쿼리를 지나치게 많이 거부하고 연산 자원도 너무 많이 필요했습니다.