Jailbreaking (AI)

Bir AI modelini jailbreak etmek, geliştiricisinin modeli reddetmesi için eğittiği ya da modelden reddetmesini istediği çıktıları, örneğin kötü amaçlı yazılımları, silahlarla ilgili talimatları veya tacizi, modelin üretmesini sağlayacak girdiler hazırlamak anlamına gelir. Hedefler genellikle zararlı istekleri reddetmeleri için güvenlik eğitimi almış büyük dil modelleri (LLMs) ve görsel-dil modelleridir (VLMs); bu ad, üretici kısıtlamalarını kaldırmak için telefonlara jailbreak uygulama işleminden gelir. Bir jailbreak tamamen modelin girdileri üzerinden işler; bu nedenle bir sohbet penceresine erişimi olan herkes jailbreak girişiminde bulunabilir ve bu da jailbreak girişimlerine karşı dayanıklılığı AI güvenliğinin temel kaygılarından biri ve bir model kullanıma sunulmadan önce AI kırmızı takım testlerinin incelediği başlıca konu hâline getirir.

Jailbreak'ler Neden İşe Yarar?#

2023 tarihli bir çalışma olan "Jailbreak yapıldı: LLM güvenlik eğitimi nasıl başarısız oluyor?", başarılı jailbreak'leri güvenlik eğitiminin iki hata türüne bağladı:

• Çatışan hedefler: Model hem talimatları yardımcı olacak şekilde izlemek hem de zararlı istekleri reddetmek üzere eğitilir. Rol yapma senaryoları veya yanıta "Elbette, işte" diye başlama talimatı gibi, reddetmeyi yardımseverlikte başarısızlık gibi gösteren istemler bu iki hedefi karşı karşıya getirir.
• Uyumsuz genelleme: Ön eğitim, modele güvenlik eğitiminin hiç kapsamadığı yetenekler kazandırır. Base64 ile kodlanmış, kaynakları az bir dilde yazılmış veya şifreyle gizlenmiş zararlı bir istek, modelin düz İngilizceyle öğrendiği retleri tetiklemeden bu yeteneklere ulaşır.

Yaygın Jailbreak Teknikleri#

• Persona ve rol yapma istemleri: 2022'nin sonlarından itibaren ChatGPT için yayılan "DAN" ("Şimdi Her Şeyi Yap") istemleri, modele kısıtlamasız bir AI gibi davranmasını söylerdi.
• Gizleme: Kodlamalar, yazım yanlışları, şifreler ve çeviri isteği güvenlik eğitiminden saklarken modelin yine de isteği çözebilmesini sağlar.
• Çok örnekli jailbreak: Saldırgan, uzun bağlam penceresini asistanın zararlı isteklere uyduğu yüzlerce sahte diyalogla doldurur; bağlam içi öğrenme de bu örüntüyü gerçek yanıta taşır.
• Çok turlu tırmandırma: Microsoft'un Crescendo saldırısı zararsız sorularla başlar ve konuşmayı tur tur kısıtlı hedefe doğru kademeli olarak yönlendirir.
• Optimize edilmiş hasmanca son ekler: GCG yöntemi, açık ağırlıklı modeller üzerinde gradyan rehberli bir arama yürüterek isteğe eklendiğinde retleri bastıran anlamsız belirteç dizilerini bulur; bu diziler ChatGPT, Bard ve Claude gibi kapalı modellere de aktarılmıştır.
• Tipografik görsel istemleri: FigStep saldırısı zararlı bir isteği görselin içine tipografi olarak yerleştirir; bu, güvenlik eğitimi yalnızca metni kapsayan VLM'leri atlatır.

Jailbreak ve İlgili Saldırılar#

• İstem enjeksiyonu: Bir ajanın okuduğu web sayfası gibi güvenilmeyen içerikler, örneğin kullanıcının verilerini sızdırmak üzere uygulamanın görevini ele geçiren talimatları gizlice içeri sokar. Jailbreak, modelin kendi güvenlik eğitimini hedef alır. LLM Uygulamaları için OWASP Top 10, jailbreak'i bir istem enjeksiyonu türü olarak sınıflandırır ve gerçek saldırılar çoğu zaman ikisini birleştirir.
• Hasmanca saldırılar: Yanlış tahminlere yol açan küçük girdi bozulmalarıdır. GCG son ekleri jailbreak için kullanılan hasmanca örneklerdir; nesne algılayıcıdan bir kişiyi gizleyen basılı bir yama ise yalnızca hasmanca saldırıdır, çünkü algılayıcının aşılacak bir güvenlik politikası yoktur.
• AI kırmızı takım testi: Güvenlik ekiplerinin saldırganlardan önce zayıflıkları bulup düzeltmek için jailbreak girişimlerinde bulunduğu yetkili test sürecidir.

Jailbreak'lere Karşı Savunma#

Tek bir savunma her jailbreak'i durduramaz; bu nedenle üretim sistemleri birbirinden bağımsız katmanları birlikte kullanır. İnsan geri bildiriminden pekiştirmeli öğrenme (RLHF) veya anayasal AI ile yapılan güvenlik eğitimi modele reddetmeyi öğretir; girdi ve çıktı sınıflandırıcıları giren ve çıkan içeriği tarar; koruma önlemleri ise model kandırılsa bile bir ajanın yapabileceklerini sınırlar.

Sınıflandırıcılar, jailbreak'in aynı anda hem modeli hem de tüm filtreleri kandırması gerektiği için işe yarar. Meta'nın Llama Guard modelleri istemleri ve yanıtları bir güvenlik politikasına göre etiketler; görsel sınıflandırıcılar da görsel üreticiler için aynı işlevi görür: güvenli ve güvensiz olarak etiketlenmiş görsellerle ince ayar yapılmış bir Ultralytics YOLO26 sınıflandırma modeli, hangi istemin ürettiğinden bağımsız olarak oluşturulan her görseli denetler. Savunmalar, 100 kötüye kullanım davranışındaki saldırı başarısını izleyen JailbreakBench gibi ortak kıyaslamalara göre ölçülür. 3.000 saati aştığı tahmin edilen kırmızı takım testlerinde kimse Anthropic'in Constitutional Classifiers'ının erken bir sürümüne karşı evrensel bir jailbreak bulamadı; Ocak 2026'da yayımlanan yeni nesil sürüm ise yaklaşık %1 hesaplama ek yükü getiriyor ve bir aylık üretim trafiğinde zararsız sorguların %0,05'ini reddetti.