Conoscere Llama 3 di Meta

Quando abbiamo riassunto le innovazioni dell'intelligenza artificiale (AI) del primo trimestre del 2024, abbiamo visto che gli LLM, o modelli linguistici di grandi dimensioni, venivano rilasciati a destra e a manca da diverse organizzazioni. Continuando questa tendenza, il 18 aprile 2024, Meta ha rilasciato Llama 3, un LLM open source di nuova generazione all'avanguardia. 

Potresti pensare: È solo un altro LLM. Perché la comunità dell'IA è così entusiasta? 

Sebbene tu possa mettere a punto modelli come GPT-3 o Gemini per risposte personalizzate, non offrono piena trasparenza riguardo al loro funzionamento interno, come i loro dati di addestramento, i parametri del modello o gli algoritmi. Al contrario, Llama 3 di Meta è più trasparente, con la sua architettura e i suoi pesi disponibili per il download. Per la comunità dell'AI, questo significa maggiore libertà di sperimentazione.

In questo articolo, impareremo cosa può fare Llama 3, come è nato e il suo impatto sul campo dell'IA. Andiamo subito al sodo!

L'evoluzione dei modelli Llama di Meta

Prima di addentrarci in Llama 3, diamo uno sguardo alle sue versioni precedenti.

Meta ha lanciato Llama 1 a febbraio 2023, disponibile in quattro varianti con parametri che vanno da 7 miliardi a 64 miliardi. Nel machine learning, i "parametri" si riferiscono agli elementi del modello che vengono appresi dai dati di training. A causa del suo numero inferiore di parametri, Llama 1 a volte ha avuto difficoltà con una comprensione più sfumata e ha fornito risposte incoerenti.

Poco dopo Llama 1, Meta ha lanciato Llama 2 nel luglio 2023. È stato addestrato su 2 trilioni di token. Un token rappresenta un frammento di testo, come una parola o parte di una parola, utilizzato come unità di base dei dati per l'elaborazione nel modello. Il modello presentava anche miglioramenti come una finestra di contesto raddoppiata di 4096 token per comprendere passaggi più lunghi e oltre 1 milione di annotazioni umane per ridurre gli errori. Nonostante questi miglioramenti, Llama 2 aveva ancora bisogno di molta potenza di calcolo, cosa che Meta mirava a risolvere con Llama 3.

Presentazione di Llama 3 di Meta

Llama 3 è disponibile con quattro varianti che sono state addestrate su ben 15 trilioni di token. Oltre il 5% di questi dati di addestramento (circa 800 milioni di token) rappresentava dati in 30 lingue diverse. Tutte le varianti di Llama 3 possono essere eseguite su vari tipi di hardware consumer e hanno una lunghezza di contesto di 8k token. 

Le varianti del modello sono disponibili in due dimensioni: 8B e 70B, che indicano rispettivamente 8 miliardi e 70 miliardi di parametri. Esistono anche due versioni, base e instruct. "Base" si riferisce alla versione standard pre-addestrata. "Instruct" è una versione fine-tuned ottimizzata per applicazioni o domini specifici attraverso un ulteriore addestramento su dati rilevanti.

Queste sono le varianti del modello Llama 3:

• Meta-Llama-3-8b: Il modello base 8B fornisce funzionalità di intelligenza artificiale fondamentali ed è ideale per attività generali come lo sviluppo di chatbot per il servizio clienti.
  ‍
• Meta-Llama-3-8b-instruct: Una versione ottimizzata per istruzioni del modello 8B, ottimizzata per attività specifiche. Ad esempio, può essere utilizzata per creare strumenti didattici che spiegano argomenti complessi.
  ‍
• Meta-Llama-3-70b: Il modello base 70B è progettato per applicazioni di intelligenza artificiale ad alte prestazioni. Questo modello funzionerebbe bene per applicazioni come l'elaborazione di un'ampia letteratura biomedica per la scoperta di farmaci.
  ‍
• Meta-Llama-3-70b-instruct: Questa versione è ottimizzata dal modello 70B per applicazioni ad alta precisione, come l'analisi di documenti legali o medicali, dove l'accuratezza è fondamentale.

Architettura del modello Llama 3 di Meta

Come per qualsiasi altro progresso di Meta AI, sono state messe in atto rigorose misure di controllo della qualità per mantenere l'integrità dei dati e ridurre al minimo i pregiudizi durante lo sviluppo di Llama 3. Quindi, il prodotto finale è un modello potente che è stato creato in modo responsabile. 

L'architettura del modello Llama 3 si distingue per la sua attenzione all'efficienza e alle prestazioni nelle attività di elaborazione del linguaggio naturale. Costruito su un framework basato su Transformer, enfatizza l'efficienza computazionale, specialmente durante la generazione di testo, utilizzando un'architettura solo decoder. 

Il modello genera output basati esclusivamente sul contesto precedente senza un encoder per codificare gli input, rendendolo molto più veloce.

I modelli Llama 3 presentano un tokenizer con un vocabolario di 128.000 token. Un vocabolario più ampio significa che i modelli possono comprendere ed elaborare meglio il testo. Inoltre, i modelli ora utilizzano la grouped query attention (GQA) per migliorare l'efficienza dell'inferenza. La GQA è una tecnica che puoi immaginare come un riflettore che aiuta i modelli a concentrarsi sulle parti rilevanti dei dati di input per generare risposte più veloci e accurate.

Ecco alcuni dettagli più interessanti sull'architettura del modello di Llama 3:

• Elaborazione di documenti con riconoscimento dei confini: Llama 3 mantiene la chiarezza attraverso i confini dei documenti, il che è fondamentale per attività come la sintesi.
  ‍
• Migliore comprensione del codice: i dati di addestramento di Llama 3 includono quattro volte più esempi di codice, potenziando le sue capacità di codifica.
  ‍
• Controllo qualità robusto: misure rigorose, tra cui filtri euristici e rimozione di contenuti NSFW, garantiscono l'integrità dei dati e riducono al minimo i pregiudizi.

Llama 3 sta trasformando il modo in cui affrontiamo l'addestramento dei modelli

Per addestrare i modelli Llama 3 più grandi, sono stati combinati tre tipi di parallelizzazione: parallelizzazione dei dati, parallelizzazione del modello e parallelizzazione della pipeline. 

Il parallelismo dei dati divide i dati di addestramento su più GPU, mentre il parallelismo del modello partiziona l'architettura del modello per utilizzare la potenza di calcolo di ogni GPU. Il parallelismo della pipeline divide il processo di addestramento in fasi sequenziali, ottimizzando il calcolo e la comunicazione.

L'implementazione più efficiente ha raggiunto un notevole utilizzo del calcolo, superando i 400 TFLOPS per GPU quando addestrata su 16.000 GPU contemporaneamente. Questi cicli di addestramento sono stati condotti su due cluster GPU personalizzati, ciascuno composto da 24.000 GPU. Questa notevole infrastruttura computazionale ha fornito la potenza necessaria per addestrare in modo efficiente i modelli Llama 3 su larga scala.

Per massimizzare i tempi di attività della GPU, è stato sviluppato un nuovo stack di training avanzato, che automatizza il rilevamento, la gestione e la manutenzione degli errori. L'affidabilità dell'hardware e i meccanismi di rilevamento sono stati notevolmente migliorati per mitigare i rischi di danneggiamento silenzioso dei dati. Inoltre, sono stati sviluppati nuovi sistemi di storage scalabili per ridurre i costi di checkpointing e rollback. 

Questi miglioramenti hanno portato a un tempo di addestramento complessivo con un'efficacia superiore al 95%. Combinati, hanno aumentato l'efficienza dell'addestramento di Llama 3 di circa tre volte rispetto a Llama 2. Questa efficienza non è solo impressionante, ma sta aprendo nuove possibilità per i metodi di addestramento dell'IA. 

Aprire nuove porte con Llama 3

Poiché Llama 3 è open source, ricercatori e studenti possono studiarne il codice, condurre esperimenti e partecipare a discussioni su questioni etiche e pregiudizi. Tuttavia, Llama 3 non è solo per il mondo accademico, ma sta avendo un impatto significativo anche nelle applicazioni pratiche. Sta diventando la spina dorsale dell'interfaccia Meta AI Chat, integrandosi perfettamente in piattaforme come Facebook, Instagram, WhatsApp e Messenger. Con Meta AI, gli utenti possono avviare conversazioni in linguaggio naturale, accedere a raccomandazioni personalizzate, eseguire attività e connettersi facilmente con gli altri.

Confronto tra Llama 3 e altri LLM

Llama 3 offre prestazioni eccezionali in diversi benchmark chiave che valutano la comprensione e le capacità di ragionamento del linguaggio complesso. Ecco alcuni dei benchmark che testano vari aspetti delle capacità di Llama 3:

• Massive Multitask Language Understanding (MMLU) - Misura la sua conoscenza in vari domini. 
  ‍
• General Purpose Question Answering (GPQA) - Valuta la capacità del modello di generare risposte coerenti e corrette a una vasta gamma di domande di conoscenza generale.
  ‍
• HumanEval - Si concentra su attività di codifica e problem-solving, testando la capacità del modello di generare codice di programmazione funzionale e risolvere sfide algoritmiche.

Gli eccezionali risultati di Llama 3 in questi test lo distinguono chiaramente dai concorrenti come Gemma 7B di Google, Mistral 7B di Mistral e Claude 3 Sonnet di Anthropic. Secondo le statistiche pubblicate, in particolare il modello 70B, Llama 3 supera questi modelli in tutti i benchmark sopra indicati.

Meta Llama 3 è stato reso ampiamente accessibile

Meta sta ampliando la portata di Llama 3 rendendolo disponibile su una varietà di piattaforme sia per gli utenti generici che per gli sviluppatori. Per gli utenti di tutti i giorni, Llama 3 è integrato nelle piattaforme più popolari di Meta come WhatsApp, Instagram, Facebook e Messenger. Gli utenti possono accedere a funzionalità avanzate come la ricerca in tempo reale e la possibilità di generare contenuti creativi direttamente all'interno di queste app. 

Llama 3 viene anche incorporato in tecnologie indossabili come gli smart glasses Ray-Ban Meta e il visore VR Meta Quest per esperienze interattive.

Llama 3 è disponibile su una varietà di piattaforme per sviluppatori, tra cui AWS, Databricks, Google Cloud, Hugging Face, Kaggle, IBM WatsonX, Microsoft Azure, NVIDIA NIM e Snowflake. Puoi anche accedere a questi modelli direttamente da Meta. L'ampia gamma di opzioni semplifica l'integrazione di queste funzionalità avanzate del modello AI nei loro progetti per gli sviluppatori, sia che preferiscano lavorare direttamente con Meta sia tramite altre piattaforme popolari.

In sintesi

I progressi nell'apprendimento automatico continuano a trasformare il modo in cui interagiamo con la tecnologia ogni giorno. Llama 3 di Meta dimostra che i modelli LLM non servono più solo a generare testo, ma affrontano problemi complessi e gestiscono più lingue. Nel complesso, Llama 3 rende l'IA più adattabile e accessibile che mai. Guardando al futuro, gli aggiornamenti pianificati per Llama 3 promettono funzionalità ancora maggiori, come la gestione di più modelli e la comprensione di contesti più ampi. 

Dai un'occhiata al nostro repository GitHub e unisciti alla nostra community per saperne di più sull'IA. Visita le nostre pagine delle soluzioni per vedere come l'IA viene applicata in settori come la produzione e l'agricoltura.