Cloud Computing

Bulut bilişim; sunucular, depolama, veritabanları, ağ iletişimi, GPU'lar ve eksiksiz yazılım uygulamaları dahil olmak üzere bilgi işlem kaynaklarının, bir sağlayıcının veri merkezlerinden internet üzerinden isteğe bağlı sunulması ve kullanılan miktara göre ücretlendirilmesidir. ABD Ulusal Standartlar ve Teknoloji Enstitüsü, 2011'de NIST SP 800-145 belgesinde bu kavramı beş temel özellikle tanımladı: isteğe bağlı self servis, geniş ağ erişimi, kaynakların birçok müşteri arasında havuzlanması, hızlı esneklik ve ölçülen hizmet. Amazon Web Services, S3 depolama ve EC2 bilgi işlem hizmetlerini 2006'da kullanıma sundu; AWS, Microsoft Azure ve Google Cloud bugün en büyük sağlayıcılardır. Yapay zekâ için bulut, pahalı hızlandırıcıları öğleden sonra kiralanabilen kaynaklara dönüştürür; çoğu ekibin veri merkezine sahip olmadan büyük modelleri eğitmesini sağlayan da budur.

Hizmet ve Dağıtım Modelleri#

Hizmet modelleri, sağlayıcının yığının ne kadarını yönettiğine göre farklılaşır:

• Hizmet Olarak Altyapı (IaaS): İşletim sistemini, sürücüleri ve yazılımı müşterinin yönettiği sanal makineler, blok depolama ve ağlar. Amazon EC2 P5 örnekleri gibi GPU sanal makineleri IaaS kapsamındadır.
• Hizmet Olarak Platform (PaaS): Müşterinin kodu dağıttığı, sunucuları ve yamaları ise sağlayıcının yönettiği yönetilen çalışma ortamları, veritabanları ve Kubernetes kümeleri. Amazon SageMaker, Google Vertex AI ve Azure Machine Learning gibi yönetilen ML platformları bunların üzerine eğitim işleri ve model uç noktaları ekler.
• Sunucusuz bilgi işlem: Her istekte başlayan, boşta kaldığında sıfıra ölçeklenen ve istek başına ve çalışma süresine göre ücretlendirilen işlevler veya kapsayıcılar; sunucuları tamamen gizleyen daha yeni bir modeldir.
• Hizmet Olarak Yazılım (SaaS): Müşterinin işletmesi gereken hiçbir şey olmadan tarayıcıda veya API üzerinden kullanılan eksiksiz uygulamalar.

NIST ayrıca dört dağıtım modeli tanımlar: birçok müşterinin paylaştığı genel bulutlar, tek bir kuruluş için işletilen özel bulutlar, ortak gereksinimleri olan kuruluşların paylaştığı topluluk bulutları ve bunları birleştiren hibrit bulutlar. Sağlayıcılar her modelde paylaşılan sorumluluk modelini izler: sağlayıcı fiziksel veri merkezlerinin ve sanallaştırma katmanının güvenliğini sağlar; kimliklerden, yapılandırmalardan ve veri güvenliğinden ise müşteri sorumludur.

Yapay Zekâ için Bulut Bilişim#

Yapay zekâda en fazla bilgi işlem gücü gerektiren aşama eğitimdir. Bulut sağlayıcıları, dağıtık eğitim için yüksek bant genişlikli bağlantılarla birbirine bağlanmış tekil GPU'lar veya NVIDIA H100, H200 ve B200 hızlandırıcı kümeleri kiralar; Google Cloud ayrıca kendi TPU'larını sunar. Atıl kapasite daha ucuzdur: AWS Spot Instances, isteğe bağlı fiyatlardan %90'a kadar daha düşük maliyetlidir ancak iki dakika önceden bildirimle geri alınabilir; bu nedenle bunları kullanan işler, devam edebilmek için model ağırlıklarının kontrol noktalarını sık sık kaydeder.

Verilerin konumu, bulut maliyetlerini şekillendirir. Veri kümeleri genellikle bir veri gölü olarak düzenlenmiş nesne depolamada tutulur. Sağlayıcılar kendi ağlarından çıkan veriler için çıkış ücreti alırken giriş genellikle ücretsizdir; bu nedenle eğitim hesaplamaları çoğunlukla okuduğu büyük verinin bulunduğu bölgede çalıştırılır. Çıkarım tarafında model sunumu için Docker kapsayıcılarında paketlenen modeller, yönetilen uç noktalarda veya trafik değiştikçe çoğaltma sayısını artırıp azaltan Kubernetes kümelerinde çalışır; bu, NIST tanımındaki hızlı esnekliktir. Kullanıcılara yakın bölgeler çıkarım gecikmesini düşük tutar. Bulut ML platformları ayrıca deney takibi, model kayıt defterleri ve model izleme için gereken MLOps araçlarını da barındırır.

Ultralytics Platform, bu kullandıkça öde modelini YOLO eğitimine uygular: bulut eğitimi, 16 GB RTX 2000 Ada'dan 288 GB B300'e kadar 26 GPU türü sunar, bir çalıştırmanın gerçekten kullandığı GPU süresi için ücret alır ve seçilen GPU'da kapasite yoksa önce VRAM'i, ardından hızı ve fiyatı esas alarak en yakın kullanılabilir seçeneği önerir.

Bulut Bilişim ve Uç Bilişim Karşılaştırması#

Uç bilişim, verileri kameralar, robotlar ve ağ geçitleri gibi veriyi üreten cihazların üzerinde veya yakınında işler. Böylece bir veri merkezine giden ağ gidiş dönüşü önlenir ve bağlantı kesildiğinde de çalışma sürer. Bulut bilişim; eğitim, büyük ölçekli toplu işleme, uzun süreli depolama ve kullanıcıları onlarca milisaniyelik ağ gecikmesini tolere edebilen hizmetler için esnek kapasiteyi merkezileştirir. Çoğu bilgisayarlı görü sistemi ikisini birleştirir. Bulut GPU'larında eğitilen bir model, ONNX veya TensorRT gibi kompakt bir biçime aktarılır ve cihazda uç yapay zekâ olarak çalışır; cihaz ise algılamaları ve seçili görselleri buluta gönderir, burada bu veriler bir sonraki model sürümünün eğitim verisine dönüşür.