Model Card

Model kartı; bir yapay zekâ veya makine öğrenimi modelinin ne yaptığını, nasıl geliştirildiğini ve değerlendirildiğini, nerelerde kullanılması gerektiğini ve kullanıcıların hangi sınırlamaları veya riskleri bilmesi gerektiğini açıklayan yapılandırılmış bir belgedir. Kaynak koda veya modelin iç işleyişine erişim gerektirmeden yapay zekâda şeffaflığı destekleyerek geliştiriciler, incelemeciler, dağıtım ekipleri ve modelden etkilenen paydaşlar için pratik bir bilgi formu işlevi görür. Bu bağlamda model kartının, moda modellerinin profesyonel portföyü olan “comp card” ile ilgisi yoktur.

Model Kartı Neler İçerir#

Kullanışlı bir model kartı, teknik kanıtları sade bir dille yazılmış yönlendirmelerle bir araya getirir. Kartın kapsamı modelin etkisini yansıtmalıdır: deneysel bir görüntü sınıflandırıcısı için kısa bir kart yeterli olabilirken sağlık veya finans kararlarını etkileyen bir model daha ayrıntılı belgelendirme gerektirir.

Yaygın bileşenler şunlardır:

• Amaç, sahiplik ve sürüm: Modeli, sorumlu ekibi, sürümünü, görevi, desteklenen girdileri ve çıktıları, ayrıca iletişim veya bakım bilgilerini belirtir.
• Eğitim verileri ve geliştirme bağlamı: Veri kaynaklarını, toplama koşullarını, etiketleme uygulamalarını, ön işleme adımlarını, model mimarisini, eğitim prosedürünü ve önemli varsayımları açıklar. Hassas veya özel veriler paylaşılmadan özetlenebilir.
• Değerlendirme ve performans metrikleri: Açıkça tanımlanmış doğrulama veya test veri kümelerindeki metrikleri bildirir. Nesne algılama için bu metrikler; kesinlik, duyarlılık, ortalama ortalama kesinlik, çıkarım gecikmesi ve tek tek sınıflara veya anlamlı veri alt kümelerine ait sonuçları içerebilir.
• Amaçlanan kullanımlar ve kapsam dışı durumlar: Uygun uygulamaları, beklenen çalışma koşullarını, gereken insan gözetimini ve modelin tasarlanmadığı senaryoları açıklar.
• Sınırlamalar ve riskler: Bilinen hata türlerini, belirsizliği, gizlilikle ilgili kaygıları, güvenlik hususlarını ve olası veri kümesi yanlılığını belgeler. Ayrıca hatalı tahminlerin muhtemel sonuçlarını da belirtmelidir.

Amazon SageMaker Model Cards belgeleri, amaçlanan kullanımı, eğitim ayrıntılarını, değerlendirmeyi, risk derecelendirmelerini ve önerileri kapsayan yapılandırılmış bir yaşam döngüsü kaydına örnek sunar. Google DeepMind model kartları gibi herkese açık koleksiyonlar, kartların yetenekleri, güvenlik değerlendirmelerini ve sınırlamaları daha geniş bir kitleye nasıl aktarabileceğini gösterir.

Model Kartları Neden Önemlidir#

Model kartları, ekiplerin bir modeli benimsemeden veya dağıtıma almadan önce bilinçli kararlar vermesine yardımcı olur. Dikkat çekici bir ana metrik; nadir sınıflardaki, sıra dışı ortamlardaki veya belirli kullanıcı gruplarındaki zayıf performansı gizleyebilir. Kart, değerlendirme veri kümesini, test koşullarını ve gruplara göre sonuçları belgeleyerek okuyuculara bu sayıları yorumlamak için gereken bağlamı sağlar.

Ayrıca yönetişimi ve hesap verebilirliği destekler. NIST Yapay Zekâ Risk Yönetimi Çerçevesi, yapay zekâ yaşam döngüsü boyunca güvenilirliğin yönetilmesini vurgularken OECD şeffaflık ve açıklanabilirlik ilkesi, yapay zekâ yetenekleri ve sınırlamaları hakkında anlamlı bilgiler sunulmasını ister. Model kartları bu hedeflere yönelik pratik bir araç sağlar.

Kuruluşlarda kartlar; veri bilimcileri, ürün ekipleri, uyumluluk incelemecileri ve operasyon mühendisleri arasındaki devir teslimleri iyileştirir. IBM AI Factsheets gibi sistemler; geliştirme, onay, dağıtım ve izleme aşamalarında model meta verilerini toplayarak bu yaklaşımı genişletir.

İlgili Belgeler ve Temel Farklar#

İlgili çeşitli belgeler farklı amaçlara hizmet eder:

• Veri kartları: Bir veri kümesinin kaynağını, içeriğini, toplama sürecini, erişim koşullarını, amaçlanan kullanımlarını ve sınırlamalarını açıklar. Model kartı eğitilmiş modele odaklanır; ancak ilgili veri kümesi belgelerine atıfta bulunmalıdır.
• Model kayıt sistemi: Model varlıklarını, sürümleri, köken bilgilerini ve dağıtım durumunu saklar ve yönetir. MLflow Model Registry iş akışı, bu operasyonel role örnek oluşturur. Model kartı anlamı ve riski aktarırken kayıt sistemi model varlıklarını yönetir. İkisi birbirine bağlanabilir.
• Sistem kartı: Birden fazla model, istem, bilgi getirme bileşenleri, güvenlik önlemleri, arayüzler ve insan süreçleri dâhil olmak üzere tüm bir yapay zekâ sistemini belgeler. Model kartının kapsamı daha dardır ve model düzeyindedir.
• Açıklanabilirlik raporu: Bir modelin belirli çıktıları neden ürettiğini inceler. Model kartı genel davranışı ve sınırlamaları özetler, ancak tahmin düzeyindeki açıklamaların yerini tutmaz.

Gerçek Dünya Uygulamaları#

• Üretimde görsel denetim: Bir fabrika, kusur tespiti için bilgisayarlı görü modeli dağıtıma alabilir. Model kartında desteklenen kusur sınıfları, kamera yerleşimi, aydınlatma varsayımları, nadir kusurlardaki performans, asgari nesne boyutları ve uç cihazdaki gecikme listelenebilir. Yansıtıcı aydınlatma altında çizikler sık sık kaçırılıyorsa bu sınırlamanın belgelenmesi, operatörlerin manuel inceleme istemesine veya ek eğitim görüntüleri toplamasına yardımcı olur.

• Klinik görüntüleme desteği: Bir tıbbi görüntüleme modelinin kartında değerlendirme sırasında temsil edilen tarama türleri, ekipman, hasta grupları ve kurumlar belirtilebilir. Alt gruplara göre performans bildirilebilir ve çıktıların tanıları bağımsız olarak belirlemek yerine yetkin klinisyenlere yardımcı olduğu açıklanabilir. Bu bağlamın eksik olması, bir hastanenin modeli desteklenmeyen ekipmanlarda veya hasta gruplarında kullanmasına ve güvenilir olmayan öneri riskinin artmasına yol açabilir.

Üçüncü taraf modeller seçilirken de model kartlarıyla karşılaşılır. Örneğin Microsoft Foundry model kataloğu belgeleri, model ayrıntılarını, kıyaslama sonuçlarını, desteklenen veri türlerini, lisansları ve dağıtım bilgilerini içeren kartları açıklar.

Model Kartı Oluşturma ve Güncel Tutma#

Kartı dağıtımdan sonra değil, proje planlama aşamasında oluşturmaya başla. Veri kümesi sürümleri, eğitim ayarları, değerlendirme koşulları ve incelemeci kararları dâhil olmak üzere kanıtları ortaya çıktıkça kaydet. Nesne algılama için kullanılan bir Ultralytics YOLO26 modelinde, belgelenmiş doğrulama iş akışı değerlendirme bölümü için metrikler oluşturabilir:

from ultralytics import YOLO

# Load the documented model version
model = YOLO("yolo26n.pt")

# Evaluate it on a labeled validation dataset
metrics = model.val(data="coco8.yaml")

# Record these results with the dataset and test conditions
print(f"mAP50-95: {metrics.box.map:.3f}")
print(f"mAP50: {metrics.box.map50:.3f}")
print(f"mAP75: {metrics.box.map75:.3f}")

Bu değerler ancak model sürümü, veri kümesi, bölme, görüntü boyutu, donanım ve değerlendirme yapılandırmasıyla birlikte verildiğinde anlamlıdır. Ekipler, kartı güncellemek için gereken kanıtları korurken veri kümelerine açıklama eklemek, eğitim çalışmalarını izlemek, modelleri dağıtıma almak ve uç noktaları izlemek üzere Ultralytics Platform kullanabilir.

Model kartı sürümlenmiş ve sürekli güncellenen bir belge olmalıdır. Model, veri kümesi, değerlendirme süreci, dağıtım ortamı veya bilinen sınırlamalar değiştiğinde kartı güncelle. En önemlisi, yalnızca modeli eğiten ekip için değil, modelin kullanılıp kullanılmayacağına ve nasıl kullanılacağına karar veren kişiler için yaz.