AI Guardrails

Las barreras de protección de IA son controles que se colocan alrededor de un modelo de inteligencia artificial (AI) para inspeccionar lo que recibe, lo que genera y las acciones que puede realizar, y bloquear o redirigir cualquier cosa que infrinja una política. Se sitúan fuera de los pesos del modelo: una barrera puede detener una respuesta dañina, un número de teléfono filtrado o un reembolso no autorizado, aunque el modelo de lenguaje grande (LLM) subyacente haya sido engañado para producirlo. Las barreras complementan el entrenamiento de seguridad, como el aprendizaje por refuerzo a partir de comentarios humanos (RLHF), al aplicar límites a toda la aplicación, con independencia del comportamiento habitual del propio modelo.

Tipos de barreras de protección de IA#

Las barreras se clasifican según dónde actúan. Las barreras de entrada revisan los prompts, los archivos subidos y los documentos recuperados antes de que el modelo los vea, buscando inyecciones de prompts, intentos de jailbreak, datos personales o solicitudes fuera de tema. Las barreras de salida revisan las respuestas antes de que lleguen al usuario o al software posterior para detectar contenido dañino, secretos filtrados, alucinaciones que contradigan los documentos fuente o salidas estructuradas que incumplan un esquema obligatorio.

Las barreras de acción limitan las herramientas que puede utilizar un agente de IA, así como sus argumentos y permisos, y exigen aprobación humana para acciones de importancia, como pagos, eliminaciones o el envío de correos electrónicos; el aislamiento del entorno del agente separa todo el código que ejecuta. Las barreras de diálogo mantienen la conversación dentro de los temas permitidos, como un asistente bancario que rechaza preguntas médicas.

Implementación de barreras de protección#

Muchas barreras son clasificadores. Llama Guard de Meta, presentado en 2023, es un LLM ajustado para clasificar prompts y respuestas como seguros o inseguros según una taxonomía de categorías de riesgo. Los clasificadores constitucionales de Anthropic, entrenados con datos sintéticos generados a partir de una lista escrita de contenidos permitidos y prohibidos, redujeron del 86 % al 4,4 % la tasa de éxito de 10.000 intentos automatizados de jailbreak contra Claude 3.5 Sonnet. Al mismo tiempo, aumentaron un 0,38 % los rechazos en el tráfico de producción y añadieron un 23,7 % de sobrecarga de cálculo. Otras barreras se basan en reglas: expresiones regulares para números de tarjetas de crédito, listas de herramientas permitidas y esquemas para los argumentos de las herramientas. Los marcos de trabajo NeMo Guardrails de NVIDIA y Guardrails AI, entre otros, combinan ambos tipos en canalizaciones configurables.

La validación de esquemas es la barrera de acción más sencilla de implementar. El siguiente ejemplo utiliza Pydantic para validar las solicitudes de reembolso que propone un agente LLM antes de ejecutarlas:

from pydantic import BaseModel, Field, ValidationError


class Refund(BaseModel):
    """Refund action a support agent may request."""

    order_id: str = Field(pattern=r"^A\d{6}$")
    amount: float = Field(gt=0, le=200)  # larger refunds go to a human


# Two tool calls proposed by an LLM; the second follows instructions injected into a customer email
proposals = ['{"order_id": "A104233", "amount": 49.99}', '{"order_id": "A104233", "amount": 5000}']

# Action guardrail: execute only tool calls that pass the schema, block the rest
for proposal in proposals:
    try:
        refund = Refund.model_validate_json(proposal)
        print(f"Executed refund of ${refund.amount} for {refund.order_id}")
    except ValidationError as error:
        print(f"Blocked: {error.errors()[0]['msg']}")

La primera llamada imprime Executed refund of $49.99 for A104233 y la segunda imprime Blocked: Input should be less than or equal to 200, de modo que la instrucción inyectada nunca llega al sistema de pagos, por convincente que sea su formulación.

Barreras de protección en canalizaciones de visión#

Los sistemas de visión utilizan barreras de protección para decidir cuándo los resultados de un modelo son lo bastante fiables como para actuar. En Ultralytics Platform Agents, un bloque Gate controla la ejecución posterior mediante una condición sobre los resultados de YOLO26: la plantilla YOLO to VLM Monitor solo ejecuta un modelo de visión y lenguaje cuando se detecta al menos una persona. El diagnóstico por imagen y los vehículos autónomos aplican el mismo patrón: derivan los resultados inciertos a los profesionales clínicos y detienen el vehículo de forma segura cuando falla la percepción.

Barreras de protección frente a términos relacionados#

• Seguridad de la IA: El campo general dedicado a prevenir los daños causados por la IA. Las barreras de protección son una de sus herramientas en el momento del despliegue.
• IA constitucional: Entrena principios en el propio modelo. Las barreras de protección aplican reglas desde fuera, por lo que siguen funcionando cuando falla el entrenamiento.
• Gobernanza de la IA: Las políticas y leyes que determinan qué puede hacer un sistema de IA. Las barreras de protección son los controles técnicos que aplican esas decisiones durante la ejecución.
• Red teaming de IA: Ataca un sistema para encontrar las brechas que dejan abiertas sus barreras de protección.

Las barreras de protección también cuestan velocidad y capacidad de respuesta: cada clasificador añade latencia de inferencia, y uno más estricto rechaza más solicitudes legítimas. Los prototipos de clasificadores constitucionales de Anthropic resistieron más de 3.000 horas de pruebas de red team con recompensas por errores sin que se encontrara un jailbreak universal, pero rechazaban demasiadas consultas inocuas y necesitaban demasiado cálculo.