Small Language Models (SLMs)

Küçük dil modeli (SLM), telefonda, dizüstü bilgisayarda veya mütevazı tek bir GPU'da çalışabilecek ya da düşük maliyetle yüksek hacimde hizmet verebilecek kadar kompakt bir dil modelidir. Kesin bir sınır yoktur: NVIDIA araştırmacıları, yaygın bir tüketici cihazına sığan ve tek bir kullanıcının isteklerine yanıt verecek kadar hızlı çalışan modeli SLM olarak tanımlar; 2025 itibarıyla 10 milyar parametrenin altındaki modellerin çoğunu bu sınıfa dahil ederler. Microsoft'un Nisan 2024'te yayımlanan 3.8 milyar parametreli Phi-3-mini modeli, telefonda çalışabilecek kadar küçükken MMLU kıyaslamasında GPT-3.5 ile karşılaştırılabilir şekilde %69 puan aldı. Yaygın kullanılan diğer SLM'ler arasında 270 milyondan 4 milyar parametreye uzanan Google Gemma 3 modelleri, Meta Llama 3.2 1B ve 3B, Alibaba'nın daha küçük Qwen3 modelleri ve Apple Intelligence'ın arkasındaki yaklaşık 3 milyar parametreli cihaz içi model bulunur.

SLM'ler Nasıl Oluşturulur?#

SLM'ler, büyük dil modelleriyle (LLM'ler) aynı transformer mimarisini kullanır ve boyutlarını eğitim tercihleriyle telafi eder:

• Veri kalitesi: Microsoft, Phi-3-mini modelini yoğun biçimde filtrelenmiş herkese açık web metinlerinden oluşan 3.3 trilyon belirteç ve sentetik verilerle eğitti; elde ettiği sonuçları bu veri kümesine bağlıyor.
• Aşırı eğitim: Ölçekleme yasaları, eğitim hesaplama maliyetini en aza indirmek için parametre başına yaklaşık 20 belirteç gerektiğini söyler. SLM'ler ise yüzlerce veya binlerce belirteçle eğitilir; böylece ek eğitim hesaplaması karşılığında sorgu başına maliyeti daha düşük bir model elde edilir. Meta, Llama 3 8B modelini 15 trilyon belirteçle eğitti.
• Bilgi damıtma: Google, Gemma 2'nin 2B ve 9B modellerini, sıradaki belirteç tahminini doğrudan yapmak yerine daha büyük bir öğretmen modelinin sonraki belirteç dağılımlarını taklit edecek şekilde eğitti.
• Model niceleme: 3.8 milyar parametreli bir modelin ağırlıkları, 16 bitte yaklaşık 7.6 GB, 4 bitte ise yaklaşık 1.9 GB alan gerektirir. Apple, cihaz içi modelini ağırlık başına 2 bite niceleme farkındalıklı eğitimle (QAT) sıkıştırır; GGUF dosyaları ise dizüstü bilgisayarlar için 4 bitlik modelleri paketler.

SLM'ler Nerede Çalışır?#

Cihaz içi asistanlar en görünür kullanım alanıdır. Apple'ın 2025'te duyurulan Foundation Models çerçevesi, uygulama geliştiricilerine Apple Intelligence'a güç veren cihaz içi modele doğrudan erişim sağlar. Telefon çipleri bu modelleri sinirsel işlem birimlerinde (NPU'lar) çalıştırarak metni sunucuya göndermeden işler; bu da veri gizliliğine katkı sağlar. Şirketler, sınıflandırma, bilgi çıkarımı ve destek yanıtları gibi dar kapsamlı işler için SLM'lere LoRA ile ince ayar yapar; şirket bilgileri için çoğu zaman erişim destekli üretim (RAG) ekler. Google, bu tür göreve özgü ayarlamalar için Gemma 3 270M modelini geliştirdi; modelin 270 milyon parametresinin 170 milyonu, 256K belirteçlik söz dağarcığının gömmelerinde bulunur.

Yapay zekâ ajanları en yeni kullanım alanıdır. NVIDIA makalesi, ajanların alt görevlerinin çoğunun bir SLM'nin üstesinden gelebileceği kadar dar kapsamlı ve tekrarlı olduğunu, geri kalan işler içinse daha büyük bir model kullanılabileceğini savunur; bu, bir tür model yönlendirmedir:

Aynı ayrım, uç yapay zekâ donanımındaki görüntü işlem hatları için de geçerlidir. Ultralytics LLM arayüzü, Ollama gibi yerel sunucular da dahil olmak üzere OpenAI uyumlu herhangi bir uç nokta için base_url kabul eder. Böylece uç cihazdaki bir YOLO26 işlem hattı, bir kareyi veya algılamalarını aynı makinedeki SLM'ye göndererek bulut çağrısı yapmadan metin raporu alabilir.

SLM'ler ve İlgili Terimler#

• Büyük dil modeli: On milyarlarca ila yüz milyarlarca veya daha fazla parametreye sahip aynı tür modeldir; daha geniş bilgi ve daha güçlü çok adımlı akıl yürütme sunar ve genellikle veri merkezlerindeki GPU'larda hizmet verir.
• Görsel-dil modeli (VLM): Bir dil modeline görüntü kodlayıcı ekler. Apple'ın FastVLM modeli gibi küçük VLM'ler, görüntüleri anlamak için SLM tekniklerini uygular. VLM Leaderboard, Gemma 4 E2B ve Qwen3.5 2B gibi küçük VLM'leri içerir ve çok daha büyük modellerin yanına koyarak nesneleri ne kadar doğru algıladıklarını ölçer.
• TinyML: Kilobaytlar ile birkaç megabayt arasında belleğe sahip mikrodenetleyicilerde makine öğrenimidir; 8 bitlik ağırlıklarla yaklaşık 270 MB yer kaplayan 270 milyon parametreli bir SLM bile bu belleğe sığmaz.