Meta'nın Llama 3 modelini tanımak

2024'ün ilk çeyreğindeki yapay zekâ (AI) yeniliklerini derlediğimizde, farklı kuruluşların LLM'leri veya büyük dil modellerini, art arda piyasaya sürdüğünü gördük. Bu trendi sürdüren Meta, 18 Nisan 2024'te Llama 3'ü, yeni nesil, son teknoloji ürünü, açık kaynaklı bir LLM olarak piyasaya sürdü.

Şöyle düşünüyor olabilirsin: Sadece başka bir LLM. Yapay zekâ topluluğu bunun için neden bu kadar heyecanlı?

GPT-3 veya Gemini gibi modelleri özelleştirilmiş yanıtlar için ince ayardan geçirebilirsin; ancak bu modeller eğitim verileri, model parametreleri veya algoritmaları gibi dahili çalışma biçimleri hakkında tam şeffaflık sunmaz. Buna karşılık Meta'nın Llama 3'ü daha şeffaftır; mimarisi ve ağırlıkları indirilebilir durumdadır. Yapay zekâ topluluğu açısından bu, denemeler yapmak için daha fazla özgürlük anlamına gelir.

Bu makalede Llama 3'ün neler yapabildiğini, nasıl ortaya çıktığını ve yapay zekâ alanındaki etkisini öğreneceğiz. Hemen başlayalım!

Meta'nın Llama modellerinin evrimi#

Llama 3'e geçmeden önce önceki sürümlerine göz atalım.

Meta, Şubat 2023'te parametre sayıları 7 milyar ile 65 milyar arasında değişen dört varyantla Llama 1'i piyasaya sürdü. Makine öğreniminde "parametreler", eğitim verilerinden öğrenilen model öğelerini ifade eder. Daha az sayıda parametreye sahip olması nedeniyle Llama 1, incelikli anlamayı bazen başaramıyor ve tutarsız yanıtlar veriyordu.

Llama 1'den kısa süre sonra Meta, Temmuz 2023'te Llama 2'yi piyasaya sürdü. Model, 2 trilyon token üzerinde eğitildi. Token, modelde işleme için temel veri birimi olarak kullanılan, sözcük veya sözcüğün bir bölümü gibi bir metin parçasını temsil eder. Model ayrıca daha uzun metinleri anlayabilmek için 4096 token'lık iki katına çıkarılmış bağlam penceresi ve hataları azaltmak için 1 milyondan fazla insan açıklaması gibi geliştirmeler içeriyordu. Bu iyileştirmelere rağmen Llama 2 hâlâ çok fazla işlem gücüne ihtiyaç duyuyordu; Meta da bunu Llama 3 ile düzeltmeyi amaçladı.

Meta'nın Llama 3'üyle tanışın#

Llama 3, şaşırtıcı bir şekilde 15 trilyon token üzerinde eğitilmiş dört varyantla sunulur. Bu eğitim verilerinin %5'inden fazlası, yani yaklaşık 800 milyon token, 30 farklı dildeki verilerden oluşuyordu. Tüm Llama 3 varyantları çeşitli tüketici donanımı türlerinde çalıştırılabilir ve 8 bin token'lık bağlam uzunluğuna sahiptir.

Şekil 1. Llama 3 ve Llama 2.

Model varyantları iki boyutta sunulur: sırasıyla 8 milyar ve 70 milyar parametreyi ifade eden 8B ve 70B. Ayrıca base ve instruct olmak üzere iki sürüm bulunur. "Base", standart önceden eğitilmiş sürümü ifade eder. "Instruct" ise ilgili verilerle ek eğitim yoluyla belirli uygulamalar veya alanlar için optimize edilmiş, ince ayardan geçirilmiş bir sürümdür.

Llama 3 model varyantları şunlardır:

• Meta-Llama-3-8b: Temel 8B modeli, temel yapay zekâ yetenekleri sunar ve müşteri hizmetleri sohbet botları geliştirmek gibi genel görevler için idealdir.
• Meta-Llama-3-8b-instruct: 8B modelinin belirli görevler için optimize edilmiş, instruct ince ayarlı sürümüdür. Örneğin karmaşık konuları açıklayan eğitim araçları oluşturmak için kullanılabilir.
• Meta-Llama-3-70b: Temel 70B modeli, yüksek performanslı yapay zekâ uygulamaları için tasarlanmıştır. Bu model, ilaç keşfi için kapsamlı biyomedikal literatürü işlemek gibi uygulamalarda iyi sonuç verebilir.
• Meta-Llama-3-70b-instruct: Bu sürüm, doğruluğun kritik olduğu yasal veya tıbbi belgeleri analiz etmek gibi yüksek hassasiyet gerektiren uygulamalar için 70B modelinden ince ayarla geliştirilmiştir.

Meta'nın Llama 3 model mimarisi#

Diğer tüm Meta AI geliştirmelerinde olduğu gibi Llama 3 geliştirilirken veri bütünlüğünü korumak ve önyargıları en aza indirmek için titiz kalite kontrol önlemleri uygulandı. Sonuç olarak ortaya sorumlu bir şekilde oluşturulmuş güçlü bir model çıktı.

Llama 3 model mimarisi, doğal dil işleme görevlerinde verimlilik ve performansa odaklanmasıyla öne çıkar. Transformer tabanlı bir çerçeve üzerine kurulan model, özellikle metin üretimi sırasında hesaplama verimliliğini, yalnızca kod çözücü kullanan bir mimariden yararlanarak ön plana çıkarır.

Model, girdileri kodlayacak bir kodlayıcı olmadan yalnızca önceki bağlama dayanarak çıktılar üretir ve bu sayede çok daha hızlı çalışır.

Şekil 2. Llama 3 Sorumlu Model Mimarisi.

Llama 3 modelleri, 128 bin token'lık söz dağarcığına sahip bir tokenizer içerir. Daha geniş bir söz dağarcığı, modellerin metni daha iyi anlamasına ve işlemesine olanak tanır. Ayrıca modeller, çıkarım verimliliğini artırmak için artık gruplandırılmış sorgu dikkatini (GQA) kullanır. GQA'yı, modellerin daha hızlı ve daha doğru yanıtlar üretmek için girdi verilerinin ilgili bölümlerine odaklanmasına yardımcı olan bir spot ışığı gibi düşünebilirsin.

Llama 3'ün model mimarisiyle ilgili birkaç ilginç ayrıntı daha şöyle:

• Sınır Farkındalıklı Belge İşleme: Llama 3, özetleme gibi görevler için kritik olan belge sınırları arasındaki bütünlüğü korur.
• Daha İyi Kod Anlama: Llama 3'ün eğitim verileri dört kat daha fazla kod örneği içerir ve bu da kodlama yeteneklerini geliştirir.
• Sağlam Kalite Kontrolü: Sezgisel filtreler ve NSFW içeriklerinin kaldırılması da dâhil olmak üzere titiz önlemler, veri bütünlüğünü güvence altına alır ve önyargıları en aza indirir.

Llama 3, model eğitimine yaklaşımımızı dönüştürüyor#

En büyük Llama 3 modellerini eğitmek için üç tür paralelleştirme birleştirildi: veri paralelleştirme, model paralelleştirme ve işlem hattı paralelleştirmesi.

Veri paralelleştirme, eğitim verilerini birden fazla GPU'ya bölerken model paralelleştirme, her GPU'nun işlem gücünden yararlanmak için model mimarisini parçalara ayırır. İşlem hattı paralelleştirmesi ise eğitim sürecini sıralı aşamalara bölerek hesaplamayı ve iletişimi optimize eder.

En verimli uygulama, aynı anda 16.000 GPU üzerinde eğitim gerçekleştirilirken GPU başına 400 TFLOPS'u aşarak dikkat çekici bir hesaplama kullanım oranına ulaştı. Bu eğitim çalışmaları, her biri 24.000 GPU'dan oluşan iki özel yapım GPU kümesinde gerçekleştirildi. Bu kapsamlı hesaplama altyapısı, büyük ölçekli Llama 3 modellerini verimli bir şekilde eğitmek için gereken gücü sağladı.

GPU çalışma süresini en üst düzeye çıkarmak için hata algılama, işleme ve bakımı otomatikleştiren gelişmiş ve yeni bir eğitim yığını geliştirildi. Donanım güvenilirliği ve algılama mekanizmaları, sessiz veri bozulması risklerini azaltmak üzere büyük ölçüde iyileştirildi. Ayrıca, kontrol noktası oluşturma ve geri alma yükünü azaltmak için yeni ölçeklenebilir depolama sistemleri geliştirildi.

Bu iyileştirmeler, toplam eğitim sürecinde %95'in üzerinde bir verimlilik sağladı. Bir araya geldiklerinde Llama 3 eğitiminin verimliliğini Llama 2'ye kıyasla yaklaşık üç kat artırdılar. Bu verimlilik yalnızca etkileyici olmakla kalmıyor, yapay zekâ eğitim yöntemleri için yeni olasılıkların da önünü açıyor.

Llama 3 ile yeni olanakların kapılarını açmak#

Llama 3 açık kaynaklı olduğu için araştırmacılar ve öğrenciler kodunu inceleyebilir, deneyler yapabilir ve etik kaygılar ile önyargılar hakkında tartışmalara katılabilir. Ancak Llama 3 yalnızca akademik çevrelere yönelik değildir. Pratik uygulamalarda da büyük ilgi görüyor. Meta AI Sohbet Arayüzü'nün temelini oluşturuyor ve Facebook, Instagram, WhatsApp ve Messenger gibi platformlara sorunsuz bir şekilde entegre oluyor. Meta AI ile kullanıcılar doğal dilde sohbet edebilir, kişiselleştirilmiş önerilere erişebilir, görevleri yerine getirebilir ve başkalarıyla kolayca iletişim kurabilir.

Şekil 3. Meta AI: Llama 3 tarafından desteklenir.

Llama 3'ü diğer LLM'lerle karşılaştırma#

Llama 3, karmaşık dil anlama ve akıl yürütme yeteneklerini değerlendiren birçok temel kıyaslamada olağanüstü performans gösterir. Llama 3'ün çeşitli yeteneklerini test eden kıyaslamalardan bazıları şunlardır:

• Kapsamlı Çok Görevli Dil Anlama (MMLU) - Çeşitli alanlardaki bilgisini ölçer.
• Genel Amaçlı Soru Yanıtlama (GPQA) - Modelin çok çeşitli genel bilgi sorularına tutarlı ve doğru yanıtlar üretme yeteneğini değerlendirir.
• HumanEval - Kodlama ve problem çözme görevlerine odaklanır; modelin işlevsel programlama kodu üretme ve algoritmik zorlukları çözme yeteneğini test eder.

Llama 3'ün bu testlerdeki olağanüstü sonuçları, onu Google'ın Gemma 7B'si, Mistral'ın Mistral 7B'si ve Anthropic'in Claude 3 Sonnet'i gibi rakiplerinden açıkça ayırır. Yayımlanan istatistiklere göre, özellikle 70B modeli, yukarıdaki kıyaslamaların tümünde bu modellerden daha iyi performans gösterir.

Şekil 4. Llama 3'ü Diğer LLM'lerle Karşılaştırma.

Meta Llama 3 geniş erişime sunuluyor#

Meta, Llama 3'ü hem genel kullanıcılar hem de geliştiriciler için çeşitli platformlarda kullanılabilir hâle getirerek erişim alanını genişletiyor. Günlük kullanıcılar için Llama 3, WhatsApp, Instagram, Facebook ve Messenger gibi Meta'nın popüler platformlarına entegre edilmiştir. Kullanıcılar gerçek zamanlı arama ve doğrudan bu uygulamalar içinde yaratıcı içerik oluşturma gibi gelişmiş özelliklere erişebilir.

Llama 3 ayrıca etkileşimli deneyimler için Ray-Ban Meta akıllı gözlükler ve Meta Quest VR başlığı gibi giyilebilir teknolojilere de entegre ediliyor.

Llama 3; AWS, Databricks, Google Cloud, Hugging Face, Kaggle, IBM WatsonX, Microsoft Azure, NVIDIA NIM ve Snowflake dâhil olmak üzere geliştiricilere yönelik çeşitli platformlarda kullanılabilir. Bu modellere doğrudan Meta üzerinden de erişebilirsin. Geniş seçenek yelpazesi, geliştiricilerin doğrudan Meta ile veya diğer popüler platformlar üzerinden çalışmayı tercih etmelerinden bağımsız olarak bu gelişmiş yapay zekâ modeli yeteneklerini projelerine entegre etmesini kolaylaştırır.

Öne çıkanlar#

Makine öğrenimindeki gelişmeler, her gün teknolojiyle etkileşim kurma biçimimizi dönüştürmeye devam ediyor. Meta'nın Llama 3'ü, LLM'lerin artık yalnızca metin üretmekten ibaret olmadığını gösteriyor. LLM'ler karmaşık sorunlarla mücadele ediyor ve birden fazla dili işliyor. Genel olarak Llama 3, yapay zekâyı her zamankinden daha uyarlanabilir ve erişilebilir hâle getiriyor. Geleceğe baktığımızda, Llama 3 için planlanan yükseltmeler birden fazla modeli işleme ve daha geniş bağlamları anlama gibi daha fazla yetenek vadediyor.

Yapay zekâ hakkında daha fazla bilgi edinmek için GitHub depomuza göz at ve topluluğumuza katıl. Yapay zekânın üretim ve tarım gibi alanlarda nasıl uygulandığını görmek için çözümler sayfalarımızı ziyaret et.