LLMOps

LLMOps (büyük dil modeli operasyonları), üretim ortamında büyük dil modelleri (LLM'ler) kullanan uygulamaları geliştirme, yayımlama ve çalıştırma pratikleri ile araçlarının bütünüdür. İstemlerin ve model tercihlerinin sürümlemesini, üretilen metnin yayımdan önce ve sonra değerlendirilmesini, getirim ve araç çağrıları boyunca çok adımlı isteklerin izlenmesini, gecikme ve belirteç maliyetlerinin denetlenmesini ve halüsinasyonlar ile istem enjeksiyonu gibi sorunlara karşı korumayı kapsar. LLMOps, bu uygulamalara yönelik makine öğrenimi operasyonlarının (MLOps) bir dalıdır. Şirketler sohbet botu prototiplerini ürünlere dönüştürdükçe terim 2023'te yaygınlaştı. Çoğu ekip sıfırdan model eğitmek yerine barındırılan veya açık ağırlıklı bir temel modeli istem mühendisliği, getirim destekli üretim (RAG) veya ince ayar yoluyla uyarlar; bu da operasyonel işlerin çoğunu eğitim hatlarından modelin çevresindeki süreçlere kaydırır.

LLMOps, MLOps'tan Nasıl Ayrılır?#

Yayımlanan birim, yalnızca bir ağırlık kümesinden daha büyüktür. Tek bir değişiklik istem şablonunu, model adını ve sürümünü, örnekleme ayarlarını, getirim dizinini ve araç tanımlarını etkileyebilir; bu parçaların her biri davranışı değiştirebileceğinden sürümlenir. İstem yönetimi araçları şablonları sürüm numaralarıyla saklar ve uygulama bunları çalışma sırasında alır; böylece kod yayımlamadan istem değişikliği sunulup geri alınabilir. Barındırılan modeller de uygulamanın arka planında değişebilir. Bu nedenle ekipler, sağlayıcıların sunduğu yerlerde tarihli model anlık görüntülerini sabitler ve geçiş yapmadan önce testlerini yeniden çalıştırır. Veri çalışmaları da farklılaşır: Bir RAG uygulaması arama dizininin arkasındaki belgeleri, parçalama ayarlarını ve gömme modelini sürümler; gömme modellerini değiştirmek tüm derlemin yeniden gömülmesini gerektirir. İnce ayar uygulanmış varyantlar çoğu zaman paylaşılan bir temel modelin üzerine yüklenen küçük LoRA bağdaştırıcıları olarak saklanır.

Üretilen metnin nadiren tek bir doğru yanıtı olduğundan değerlendirme daha zordur. Ekipler, referans yanıtlar veya puanlama yönergeleri içeren temsili girdilerden oluşan bir altın veri kümesi tutar ve çıktıları kesin kontrollerle, insan incelemesiyle veya yanıtları güçlü bir modelin puanladığı LLM değerlendirici yöntemiyle puanlar. Lianmin Zheng ve çalışma arkadaşları, 2023 tarihli Judging LLM-as-a-Judge makalesinde GPT-4'ün insan tercihleriyle zamanın %80'inden fazlasında uyuştuğunu, yani insanların birbiriyle uyuşma oranına ulaştığını buldu. Her sürüm adayı aynı test paketinden geçirilir ve üretim trafiği yeni örnekler eklemeyi sürdürür:

Maliyet ve gecikme istek başına yönetilir. Barındırılan modeller belirteç başına ücretlendirilir; bu nedenle ekipler istem önbelleğe alma, anlamsal önbelleğe alma ve kolay istekleri daha küçük modellere yönlendiren model yönlendirme ile harcamaları azaltır. Bununla bağlantılı bir yaklaşım, ucuz bir modeli pahalı modelin önüne koyar: Ultralytics Platform Agents içindeki YOLO → VLM Monitor şablonu önce YOLO26 çalıştırır ve görsel-dil modelini yalnızca YOLO'nun kişi algıladığı görüntüler için çağırır; dil modeli kullanımı çalışma alanının kendi sağlayıcı anahtarına yansıtılır. Güvenlik çalışmaları da eş zamanlı yürütülür: yapay zekâ koruma önlemleri her istekte girdileri ve çıktıları filtreler; kırmızı takım testleri ise her yayımdan önce jailbreak girişimlerini araştırır.

İzleme, Ağ Geçitleri ve Sunum#

LLM uygulamalarında gözlemlenebilirlik izler üzerine kuruludur. Her istek, istem, her model çağrısı, vektör veri tabanından alınan her getirim ve bir yapay zekâ ajanının yaptığı her araç çağrısı için birer aralık içeren ağaç yapısına dönüşür; belirteç sayıları, gecikme ve maliyet de eklenir. OpenTelemetry'nin üretken yapay zekâ anlamsal kuralları, modeller ve belirteç kullanımı için öznitelik adlarını standartlaştırır; LangSmith, Langfuse, Arize Phoenix ve MLflow Tracing gibi araçlar ise izleri saklar ve aratır. İzler çevrim içi değerlendirmeyi de besler: örneklenen üretim yanıtları, çevrim dışı test paketindeki aynı değerlendiriciler ve puanlama yönergeleriyle puanlanır; her kullanıcının olumlu veya olumsuz geri bildirimi de yanıtı üreten ize eklenir.

Bir yapay zekâ ağ geçidi, uygulamalarla model sağlayıcıları arasına girer; API anahtarlarını tutar ve hız sınırlarını, yedek seçenekleri ve harcama bütçelerini tek bir yerden uygular. Açık ağırlıklı modelleri barındıran ekipler, her GPU'da eş zamanlı birçok isteği sunmak için sürekli toplu işlem ve sayfalanmış KV önbellek belleği kullanan vLLM ve SGLang gibi çıkarım sunucularını çalıştırır.