AI Safety

Yapay zekâ güvenliği, yapay zekâ (AI) sistemlerinin kazalar, kasıtlı kötüye kullanım veya geliştiricilerin amaçlamadığı hedeflerin peşinden giden sistemler yoluyla zarar vermesini önlemeyi amaçlayan araştırma ve mühendislik alanıdır. Bu alan, bir otonom aracın algı yığını veya müşteri hizmetleri sohbet robotu gibi kullanıma alınmış makine öğrenmesi sistemlerinin yanı sıra laboratuvarların geliştirdiği daha yetenekli öncü yapay zekâ modellerini ve ajanları da kapsar. Çalışmalar; teknik araştırmaları, test uygulamalarını ve şirketlerin ve hükûmetlerin bir sistemin yayımlanmak için yeterince güvenli olup olmadığına karar verirken kullandığı çerçeveleri içerir.

Yapay Zekâ Güvenliğindeki Temel Sorunlar#

Google Brain, OpenAI, Stanford ve UC Berkeley'den araştırmacıların 2016 tarihli Yapay Zekâ Güvenliğindeki Somut Problemler makalesi, makine öğrenmesindeki kazaları bir temizlik robotuyla örneklendirilen beş araştırma problemiyle çerçeveledi. Bu problemler bugün de alanın büyük bölümünü şekillendiriyor:

• Olumsuz yan etkilerden kaçınma: Yalnızca temiz zemin için ödüllendirilen bir robotun, yolda vazoyu devirmekten kaçınması için hiçbir nedeni yoktur.
• Ödül manipülasyonu: Robotun kamerasının göremediği bir malzemeyle pislikleri örtmek gibi, bir hedefin amacını boşa çıkarırken sözcüğü sözcüğüne koşullarını yerine getirme.
• Ölçeklenebilir denetim: Her eylemi denetlemenin çok maliyetli olduğu durumlarda, örneğin odanın ne kadar temiz olduğunu arada bir insana sorarak iyi davranışları eğitme.
• Güvenli keşif: Islak bir paspası elektrik prizine sokmak gibi yıkıcı eylemlere başvurmadan, öğrenen bir ajanın yeni eylemleri denemesine izin verme.
• Dağılım kaymasına karşı sağlamlık: Eğitim ortamından farklı girdileri tanıma ve örneğin bir ofiste eğitilmiş robotun fabrika zeminine geçmesi gibi durumlarda dikkatli davranma.

Her problem kendi araştırma alanına dönüştü. Ölçeklenebilir denetim, denetçilerinden daha yetenekli sistemleri denetleme çalışması olan süper hizalama araştırmasının temel bir kolu hâline geldi; güvenli keşif, pekiştirmeli öğrenme için bir kısıttır; dağılım kayması ise üretim sistemlerinde veri kayması olarak görülür.

Yapay Zekâ Risklerinin Kaynakları#

Google DeepMind'ın 2025 tarihli Teknik AGI Güvenliği ve Emniyetine Yaklaşım makalesi, ciddi riskleri zarardan kimin veya neyin sorumlu olduğuna göre ayırt edilen dört alana ayırıyor:

Her alan farklı savunmalar gerektirir. Kötüye kullanım; reddetme eğitimi, yapay zekâ koruyucuları ve tehlikeli yeteneklere erişimin kısıtlanmasıyla önlenir. Uyumsuzluğu test etmek zordur; çünkü uyumsuz bir model gözlemlenirken iyi davranabilir. Çalışmalar, eğitim sırasında hizalanmış gibi davranma, değerlendirmelerde performansını kasıtlı olarak düşük gösterme, güvenlik eğitiminden sonra da varlığını sürdüren arka kapılı uyuyan ajanlar ve dar kapsamlı ince ayardan sonra ortaya çıkan uyumsuzluk buldu. Hatalar sağlamlık, test ve izlemeyle azaltılır. Çok sayıda geliştirici arasındaki rekabetten veya çok sayıda yapay zekâ ajanının etkileşimlerinden doğan zararlar gibi yapısal riskler ise esas olarak yönetişimle ilgilidir.

Uygulamadaki Yöntemler#

Güvenlik çalışmaları bir modelin tüm yaşam döngüsü boyunca sürer. Eğitim sırasında insan geri bildiriminden pekiştirmeli öğrenme (RLHF) ve anayasal yapay zekâ, modelin yapacaklarını ve yapmayacaklarını şekillendirir. Yayımlanmadan önce yapay zekâ kırmızı takım testleri ve tehlikeli yetenek değerlendirmeleri aksaklıkları araştırır; mekanistik yorumlanabilirlik, yalnızca çıktılardan anlaşılamayan hedefler için iç hesaplamaları inceler. Anthropic'in Sorumlu Ölçeklendirme Politikası gibi öncü yapay zekâ güvenliği çerçeveleri, bir modelin daha güçlü güvenlik ve kullanıma alma önlemleri gerektirdiği yetenek eşiklerini tanımlar.

Kullanıma alındıktan sonra model izleme, modelin hiç test edilmediği girdileri yakalar. Ultralytics Platform'un kullanıma alma izlemesi, kullanıma alınmış bir YOLO26 uç noktası için zaman içindeki güven dağılımını ve ortalama güveni grafiğe döker. Böylece kamera hareket ettirildikten veya aydınlatma değiştikten sonra güvenin düşmesi, eğitim verilerinden uzaklaşan girdilere işaret eder. Fiziksel dünyada eyleme geçen sistemler ayrıca, otomatik sürüş sistemi artık devam edemediğinde aracın güvenli biçimde durmasını sağlayan ve otomatik araçlar için tanımlanmış asgari risk koşulu gibi bir yedek plana ihtiyaç duyar.

Yapay Zekâ Güvenliği ve İlgili Alanlar#

Yapay zekâ güvenliği, sıklıkla birbirinin yerine kullanılan birkaç alanla kesişir:

• Yapay zekâ etiği: Adalet, gizlilik ve hesap verebilirliği kapsayarak yapay zekâ sistemlerinin ne yapması ve kimin için çalışması gerektiğini sorgular. Önyargılı kararlar gibi zararlar her iki alanın da kapsamına girer.
• Yapay zekâ güvenliği: Yapay zekâ sistemlerini saldırganlardan, düşmanca örnekler, veri zehirleme, istem enjeksiyonu ve model hırsızlığına karşı savunmalarla korur.
• Yapay zekâ hizalaması: Bir sistemin geliştiricilerinin amaçladığı hedeflerin peşinden gitmesini sağlamaya odaklanan yapay zekâ güvenliği alt alanıdır; yukarıdaki uyumsuzluk alanını ele alır.
• Yapay zekâ yönetişimi: AB Yapay Zekâ Yasası'nın risk kademeleri gibi, yapay zekâ sistemlerinin nasıl geliştirilip yayımlanacağına karar veren yasalar, standartlar ve iç politikalar.

Politikalarla birlikte sınırlar da değişir: Bir hükûmet kurumu olan ve öncü modelleri yayımlanmadan önce test eden Birleşik Krallık Yapay Zekâ Güvenliği Enstitüsü, Şubat 2025'te adını Yapay Zekâ Emniyeti Enstitüsü olarak değiştirdi. Kurum, siber saldırılar, dolandırıcılık ve kimyasal ve biyolojik silahların geliştirilmesi gibi güvenlikle ilgili risklere odaklanıyor.