AI Guardrails

Yapay zekâ korumaları, bir yapay zekâ (AI) modelinin çevresine yerleştirilen; modele neyin girdiğini, modelden neyin çıktığını ve modelin hangi eylemleri gerçekleştirebileceğini denetleyen kontrollerdir. Bir ilkeyi ihlal eden her şeyi engeller veya başka yöne yönlendirirler. Model ağırlıklarının dışında yer alırlar: temel büyük dil modeli (LLM) zararlı bir yanıt, sızdırılmış bir telefon numarası veya yetkisiz bir para iadesi üretmeye kandırılsa bile koruma bunu durdurabilir. Korumalar, modelin eğilimlerinden bağımsız olarak uygulamanın tamamına sınır koyarak insan geri bildiriminden pekiştirmeli öğrenme (RLHF) gibi güvenlik eğitimlerini tamamlar.

Yapay Zekâ Korumalarının Türleri#

Korumalar, uygulandıkları yere göre gruplandırılır. Girdi korumaları, model görmeden önce istemleri, yüklenen dosyaları ve getirilen belgeleri denetleyerek istem enjeksiyonu, jailbreak girişimleri, kişisel veriler veya konuyla ilgisiz istekleri arar. Çıktı korumaları, yanıtlar kullanıcıya veya sonraki yazılımlara ulaşmadan önce zararlı içerik, sızdırılmış sırlar, kaynak belgelerle çelişen halüsinasyonlar veya gerekli şemayı bozan yapılandırılmış çıktılar açısından kontrol eder.

Eylem korumaları, bir AI aracısının hangi araçları, hangi bağımsız değişken ve izinlerle çağırabileceğini sınırlar; ödeme, silme veya e-posta gönderme gibi önemli adımlar için insan onayı gerektirir. Aracı yalıtımı, aracının çalıştırdığı tüm kodları izole eder. Diyalog korumaları ise tıbbi soruları yanıtlamayı reddeden bir bankacılık asistanı gibi konuşmayı onaylanmış konularla sınırlar.

Korumalar Nasıl Uygulanır?#

Birçok koruma sınıflandırıcıdır. Meta'nın 2023'te tanıttığı Llama Guard, istemleri ve yanıtları bir risk kategorileri sınıflandırmasına göre güvenli veya güvensiz olarak etiketlemek üzere ince ayar yapılmış bir LLM'dir. Yazılı bir izin verilen ve verilmeyen içerik listesinden üretilen sentetik veriler üzerinde eğitilen Anthropic'in Constitutional Classifiers sistemi, Claude 3.5 Sonnet'te 10.000 otomatik jailbreak girişiminin başarı oranını %86'dan %4,4'e düşürürken üretim trafiğindeki ret oranını %0,38 artırmış ve %23,7 ek hesaplama yükü getirmiştir. Diğer korumalar kural tabanlıdır: kredi kartı numaraları için düzenli ifadeler, araçlar için izin listeleri ve araç bağımsız değişkenleri için şemalar. NVIDIA'nın NeMo Guardrails ve Guardrails AI gibi çerçeveleri her iki türü de yapılandırılabilir işlem hatlarında birleştirir.

Şema doğrulaması, oluşturulması en kolay eylem korumasıdır. Aşağıdaki örnek, bir LLM aracısının önerdiği para iadesi isteklerinden herhangi biri yürütülmeden önce bunları kontrol etmek için Pydantic kullanır:

from pydantic import BaseModel, Field, ValidationError


class Refund(BaseModel):
    """Refund action a support agent may request."""

    order_id: str = Field(pattern=r"^A\d{6}$")
    amount: float = Field(gt=0, le=200)  # larger refunds go to a human


# Two tool calls proposed by an LLM; the second follows instructions injected into a customer email
proposals = ['{"order_id": "A104233", "amount": 49.99}', '{"order_id": "A104233", "amount": 5000}']

# Action guardrail: execute only tool calls that pass the schema, block the rest
for proposal in proposals:
    try:
        refund = Refund.model_validate_json(proposal)
        print(f"Executed refund of ${refund.amount} for {refund.order_id}")
    except ValidationError as error:
        print(f"Blocked: {error.errors()[0]['msg']}")

İlk çağrı Executed refund of $49.99 for A104233, ikinci çağrı ise Blocked: Input should be less than or equal to 200 yazdırır; böylece ne kadar inandırıcı ifade edilmiş olursa olsun enjekte edilen talimat ödeme sistemine ulaşmaz.

Görme İşlem Hatlarında Korumalar#

Görme sistemleri, bir modelin çıktısının harekete geçmek için yeterince güvenilir olup olmadığına karar verirken korumalardan yararlanır. Ultralytics Platform Agents içindeki Gate bloğu, YOLO26 sonuçlarına bağlı bir koşulla sonraki işlemleri denetler: YOLO to VLM Monitor şablonu, yalnızca en az bir kişi algılandığında bir görme-dil modeli çalıştırır. Tıbbi görüntüleme ve otonom araçlar da aynı yöntemi uygular; belirsiz bulguları klinisyenlere yönlendirir ve algılama başarısız olduğunda güvenli biçimde durur.

Korumalar ve İlgili Terimler#

• Yapay zekâ güvenliği: Yapay zekânın zarar vermesini önlemeye yönelik geniş alan. Korumalar, dağıtım sırasında kullanılan araçlardan biridir.
• Anayasal yapay zekâ: İlkeleri doğrudan modelin içine eğitir. Korumalar kuralları dışarıdan uygular; dolayısıyla eğitim başarısız olduğunda da çalışırlar.
• Yapay zekâ yönetişimi: Bir yapay zekâ sisteminin neler yapabileceğini belirleyen ilkeler ve yasalar. Korumalar, bu kararları çalışma sırasında uygulayan teknik denetimlerdir.
• Yapay zekâ kırmızı takım çalışması: Bir sisteme saldırarak korumalarının açık bıraktığı boşlukları bulur.

Korumalar hız ve kullanışlılık açısından da maliyet getirir: her sınıflandırıcı çıkarım gecikmesini artırır; daha katı bir sınıflandırıcı ise daha fazla meşru isteği reddeder. Anthropic'in prototip Constitutional Classifiers sistemi, evrensel bir jailbreak olmadan 3.000 saati aşkın hata ödüllü kırmızı takım çalışmasına dayandı; ancak çok fazla zararsız sorguyu reddetti ve fazla hesaplama gücü gerektirdi.