Constitutional AI

Constitutional AI, bireysel çıktılar üzerine kapsamlı insan geri bildirimlerine yalnızca güvenmek yerine, yapay zeka sistemlerini insan değerleriyle hizalamak için bir dizi üst düzey ilke—bir "anayasa"—sağlayan bir yöntemdir. Bu yaklaşım, temel olarak yapay zeka modeline "yardımcı ol", "zararsız ol" ve "ayrımcılıktan kaçın" gibi önceden tanımlanmış bir kural setine dayalı olarak kendi davranışını eleştirip gözden geçirmeyi öğretir. Bu etik yönergeleri doğrudan eğitim sürecine yerleştirerek geliştiriciler; manuel Reinforcement Learning from Human Feedback (RLHF) süreçlerine bağımlı olanlardan daha güvenli, daha şeffaf ve ölçeklendirilmesi daha kolay sistemler oluşturabilirler.

Anayasal YZ'nin Mekanizması#

Constitutional AI'ın temel inovasyonu, modellerin hizalanmasını otomatikleştiren iki aşamalı eğitim sürecinde yatar. İnsanların her doğru yanıtı etiketlemesinin gerektiği geleneksel supervised learning yönteminin aksine, Constitutional AI eğitim verisi üretmek için modelin kendisini kullanır.

1. Denetimli Öğrenme Aşaması: Model, istemlere yanıtlar üretir ve ardından kendi çıktısını anayasal ilkelere dayanarak eleştirir. Yanıtı, kurallarla daha iyi uyum sağlayacak şekilde revize eder. Bu iyileştirilmiş veri seti daha sonra modeli ince ayar yapmak ve ona yönergeleri doğası gereği izlemeyi öğretmek için kullanılır.

2. Reinforcement Learning Phase: Genellikle Reinforcement Learning from AI Feedback (RLAIF) olarak adlandırılan bu aşama, insan etiketleyicinin yerini alır. Yapay zeka çiftler halinde yanıtlar üretir ve anayasaya en iyi uyan yanıtı seçer. Bu tercih verisi, standart reinforcement learning teknikleri aracılığıyla istenen davranışları pekiştiren bir ödül modelini eğitir.

Bilgisayarlı Görü ile İlişkisi#

Constitutional AI, Anthropic gibi kuruluşlar tarafından geliştirilen Large Language Models (LLM) bağlamında ortaya çıkmış olsa da, ilkeleri Computer Vision (CV) dahil olmak üzere daha geniş makine öğrenimi görevleri için giderek daha fazla önem kazanmaktadır.

• Ethical Image Generation: Görsel oluşturmaya yönelik Generative AI araçları, şiddet içeren, nefret söylemi barındıran veya telif haklı görseller üretecek komutları reddetmek üzere "anayasal" olarak eğitilebilir. Bu, zararlı görsel içerik oluşturulmasını önleyerek model weights bileşenlerinin güvenlik kısıtlamalarını kodlamasını sağlar.
• Safety-Critical Vision Systems: autonomous vehicles sistemlerinde "anayasal" bir yaklaşım, karar verme için hiyerarşik kurallar tanımlayabilir. Örneğin, "insan güvenliği trafik verimliliğinden üstündür" şeklinde bir kural, karmaşık yol sahnelerini analiz ederken modeli yönlendirebilir ve object detection sonuçlarının güvenliğin öncelik olduğu bilinciyle yorumlanmasını sağlayabilir.

Görüntü YZ'sinde Politika Denetimlerinin Uygulanması#

Tam Anayasal Yapay Zeka eğitimi karmaşık geri bildirim döngüleri içerse de geliştiriciler, çıktıları güvenlik politikalarına göre filtrelemek için inference sırasında "anayasal kontroller" kavramını uygulayabilir. Aşağıdaki örnek, güvenilirlik anayasasını taklit ederek nesneleri tespit etmek ve düşük güven dereceli tespitleri filtrelemek için bir güvenlik kuralı uygulamak amacıyla Ultralytics YOLO26 kullanımını göstermektedir.

from ultralytics import YOLO

# Load the YOLO26 model (latest stable Ultralytics release)
model = YOLO("yolo26n.pt")

# Run inference on an image
results = model("https://ultralytics.com/images/bus.jpg")

# Apply a "constitutional" safety check: Only accept high-confidence detections
for result in results:
    # Filter boxes with confidence > 0.5 to ensure reliability
    safe_boxes = [box for box in result.boxes if box.conf > 0.5]

    print(f"Safety Check Passed: {len(safe_boxes)} reliable objects detected.")
    # Further processing would only use 'safe_boxes'

Anayasal YZ vs. Geleneksel RLHF#

Constitutional AI'ı standart Reinforcement Learning from Human Feedback (RLHF) yönteminden ayırt etmek önemlidir.

• Scalability: RLHF, model çıktılarını derecelendirmek için pahalı ve yavaş olan devasa miktarlarda insan emeği gerektirir. Constitutional AI bunu AI agents ile otomatikleştirerek son derece ölçeklenebilir hale getirir.
• Transparency: RLHF'de model opak bir "ödül sinyalinden" (bir puandan) öğrenir; bu da bir davranışın neden tercih edildiğini bilmeyi zorlaştırır. Constitutional AI'da, eleştiri aşamasında kullanılan chain of thought prompting yaklaşımı, akıl yürütmeyi açık hale getirir ve belirli yazılı ilkelere kadar izlenebilir kılar.
• Consistency: İnsan değerlendiriciler tutarsız veya önyargılı olabilir. Yazılı bir anayasa, AI ethics için istikrarlı bir temel sağlayarak hizalama sürecindeki öznelliği azaltır.

Uyumun Geleceği#

Modeller Artificial General Intelligence (AGI) yönünde evrildikçe, Constitutional AI gibi sağlam hizalama stratejilerinin önemi artmaktadır. Bu yöntemler, NIST AI Safety Institute gibi kuruluşlardan gelen gelişmekte olan standartlara uyum sağlamak için esastır.

The Ultralytics Platform offers tools to manage data governance and model monitoring, facilitating the creation of responsible AI systems. By integrating these ethical considerations into the lifecycle of AI development—from data collection to model deployment—organizations can mitigate risks and ensure their technologies contribute positively to society.