Model Card

Model kartı; bir yapay zeka veya makine öğrenimi modelinin ne yaptığını, nasıl geliştirilip değerlendirildiğini, nerede kullanılması gerektiğini ve kullanıcıların hangi sınırlamaları veya riskleri anlaması gerektiğini açıklayan yapılandırılmış bir belgedir. Kaynak koduna veya modelin iç dinamiklerine erişim gerektirmeden yapay zekada şeffaflığı destekleyerek geliştiriciler, inceleyenler, devreye alanlar ve etkilenen paydaşlar için pratik bir bilgi formu görevi görür. Bu bağlamda model kartı, profesyonel bir portföy olan moda modelinin "comp card" (kompozit kart) kavramıyla ilişkili değildir.

Model Kartı Neler İçerir#

Yararlı bir model kartı, teknik kanıtları sade bir dille kılavuzluk eşliğinde birleştirir. Derinliği modelin etkisini yansıtmalıdır: deneysel bir görüntü sınıflandırıcının kısa bir karta ihtiyacı olabilirken, sağlık hizmetlerini veya finansal kararları etkileyen bir model daha ayrıntılı belgelendirme gerektirir.

Yaygın bileşenler şunlardır:

• Amaç, sahiplik ve sürüm: Modeli, sorumlu ekibi, yayın sürümünü, görevi, desteklenen girdileri ve çıktıları, iletişim veya bakım bilgilerini tanımlar.
• Eğitim verileri ve geliştirme bağlamı: Veri kaynaklarını, toplama koşullarını, etiketleme uygulamalarını, ön işlemeyi, model mimarisini, eğitim prosedürünü ve önemli varsayımları açıklar. Hassas veya tescilli veriler, ifşa edilmeden özetlenebilir.
• Değerlendirme ve performans metrikleri: Net bir şekilde belirlenmiş doğrulama veya test veri setlerindeki metrikleri raporlar. Nesne tespiti için bunlar hassasiyet, geri çağırma, ortalama ortalama kesinlik, çıkarım gecikmesi ve bireysel sınıflar veya anlamlı veri alt kümeleri için sonuçları içerebilir.
• Kullanım amaçları ve hariç tutulanlar: Uygun uygulamaları, beklenen çalışma koşullarını, gerekli insan gözetimini ve modelin tasarlanmadığı senaryoları açıklar.
• Sınırlamalar ve riskler: Bilinen hata modlarını, belirsizliği, gizlilik endişelerini, güvenlik hususlarını ve olası veri seti önyargısını belgelemektedir. Ayrıca yanlış tahminlerin olası sonuçlarını belirtmelidir.

Amazon SageMaker Model Cards belgeleri, kullanım amacını, eğitim detaylarını, değerlendirmeyi, risk derecelendirmelerini ve önerileri kapsayan yapılandırılmış bir yaşam döngüsü kaydına bir örnek sunar. Google DeepMind model kartları gibi genel koleksiyonlar, kartların yetenekleri, güvenlik değerlendirmelerini ve sınırlamaları daha geniş bir kitleye nasıl aktarabileceğini gösterir.

Model Kartları Neden Önemlidir#

Model kartları, ekiplerin bir modeli benimsemeden veya devreye almadan önce bilinçli kararlar almasına yardımcı olur. Çarpıcı bir ana metrik; nadir sınıflarda, olağandışı ortamlarda veya belirli kullanıcı gruplarında zayıf performansı gizleyebilir. Değerlendirme veri setini, test koşullarını ve grup bazlı sonuçları belgeleyerek bir kart, okuyuculara bu sayıları yorumlamak için gereken bağlamı sağlar.

Ayrıca yönetişimi ve hesap verebilirliği desteklerler. NIST Yapay Zeka Risk Yönetimi Çerçevesi, yapay zeka yaşam döngüsü boyunca güvenilirliğin yönetilmesini vurgularken, OECD şeffaflık ve açıklanabilirlik ilkesi, yapay zeka yetenekleri ve sınırlamaları hakkında anlamlı bilgiler talep etmektedir. Model kartları bu hedefler için pratik bir eser sağlar.

Kuruluşlar içinde kartlar; veri bilimciler, ürün ekipleri, uyumluluk incelemecileri ve operasyon mühendisleri arasındaki devir teslimleri iyileştirir. IBM AI Factsheets gibi sistemler, geliştirme, onay, devreye alma ve izleme süreçleri boyunca model meta verilerini toplayarak bu yaklaşımı genişletir.

İlgili Belgeler ve Temel Farklılıklar#

Birkaç ilgili eser farklı amaçlara hizmet eder:

• Veri kartları: Bir veri setinin kökenini, bileşimini, toplama sürecini, erişim koşullarını, kullanım amaçlarını ve sınırlamalarını açıklar. İlgili veri seti belgelerine referans vermesi gerekse de, bir model kartı eğitilmiş modele odaklanır.
• Model kayıt defteri: Model varlıklarını, sürümlerini, soy geçmişini ve devreye alma durumunu depolar ve yönetir. MLflow Model Registry iş akışı bu operasyonel rolü göstermektedir. Model kartı anlamı ve riski iletir; kayıt defteri ise model varlıklarını yönetir. İkisi birbirine bağlanabilir.
• Sistem kartı: Birden fazla modeli, komut istemini (prompt), alma bileşenlerini, güvenlik önlemlerini, arayüzleri ve insan süreçlerini potansiyel olarak içeren tüm bir yapay zeka sistemini belgelemektedir. Model kartı daha dar bir model düzeyinde kapsama sahiptir.
• Açıklanabilirlik raporu: Bir modelin neden belirli çıktılar ürettiğini inceler. Model kartı genel davranışı ve sınırlamaları özetler ancak tahmin düzeyindeki açıklamaların yerini almaz.

Gerçek Dünya Uygulamaları#

• Üretim görsel denetimi: Bir fabrika, kusur tespiti için bir bilgisayarlı görü modeli devreye alabilir. Model kartı, desteklenen kusur sınıflarını, kamera yerleşimini, aydınlatma varsayımlarını, nadir kusurlar için performansı, minimum nesne boyutlarını ve uç cihaz gecikmesini listeleyebilir. Yansıtıcı aydınlatma altında çizikler sıkça gözden kaçıyorsa, bu sınırlamanın belgelenmesi operatörlerin manuel inceleme talep etmesine veya ek eğitim görüntüleri toplamasına yardımcı olur.

• Klinik görüntüleme desteği: Tıbbi görüntüleme modelinin kartı, değerlendirme sırasında temsil edilen tarama türlerini, ekipmanı, hasta popülasyonlarını ve kurumları tanımlayabilir. Alt grup performansını raporlayabilir ve çıktıların bağımsız olarak teşhis belirlemek yerine nitelikli klinisyenlere yardımcı olduğunu netleştirebilir. Bu bağlamın eksik olması, bir hastanenin modeli desteklenmeyen ekipmanlarda veya popülasyonlarda kullanmasına yol açarak güvenilmez öneri riskini artırabilir.

Model kartlarıyla üçüncü taraf modeller seçilirken de karşılaşılır. Örneğin, Microsoft Foundry model kataloğu belgeleri, model detaylarını, kıyaslamaları, desteklenen veri türlerini, lisansları ve devreye alma bilgilerini içeren kartları tanımlar.

Model Kartı Oluşturma ve Bakımını Yapma#

Kartı devreye almadan sonra değil, proje planlaması sırasında başlatın. Veri seti sürümleri, eğitim ayarları, değerlendirme koşulları ve inceleyen kararları dahil olmak üzere üretildikçe kanıtları kaydedin. Bir Ultralytics YOLO26 nesne tespiti modeli için, belgelenen doğrulama iş akışı değerlendirme bölümü için metrikler üretebilir:

from ultralytics import YOLO

# Load the documented model version
model = YOLO("yolo26n.pt")

# Evaluate it on a labeled validation dataset
metrics = model.val(data="coco8.yaml")

# Record these results with the dataset and test conditions
print(f"mAP50-95: {metrics.box.map:.3f}")
print(f"mAP50: {metrics.box.map50:.3f}")
print(f"mAP75: {metrics.box.map75:.3f}")

Bu değerler ancak model sürümü, veri seti, bölünme, görüntü boyutu, donanım ve değerlendirme yapılandırması ile birlikte olduğunda anlamlıdır. Ekipler, bir kartı güncellemek için gereken kanıtları korurken veri setlerini etiketlemek, eğitim çalıştırmalarını izlemek, modelleri devreye almak ve uç noktaları izlemek için Ultralytics Platform kullanabilir.

Model kartı sürümlenmiş, yaşayan bir belge olmalıdır. Modeli, veri setini, değerlendirme sürecini, devreye alma ortamını veya bilinen sınırlamaları her değiştirdiğinizde güncelleyin. En önemlisi, sadece onu eğiten ekip için değil; modelin kullanılıp kullanılmayacağına ve nasıl kullanılacağına karar veren insanlar için yazın.