Conoscere Llama 3 di Meta

Quando abbiamo raccolto le innovazioni dell'intelligenza artificiale (AI) del primo trimestre del 2024, abbiamo visto che i modelli linguistici di grandi dimensioni (LLM), ovvero i modelli linguistici di grandi dimensioni, venivano rilasciati in rapida successione da diverse organizzazioni. Proseguendo su questa linea, il 18 aprile 2024 Meta ha rilasciato Llama 3, un modello linguistico di grandi dimensioni (LLM) open source all'avanguardia di nuova generazione.

Potresti pensare: È solo un altro modello linguistico di grandi dimensioni (LLM). Perché la comunità dell'AI ne è così entusiasta?

Sebbene tu possa ottimizzare modelli come GPT-3 o Gemini per ottenere risposte personalizzate, questi non offrono piena trasparenza sul loro funzionamento interno, come i dati di addestramento, i parametri del modello o gli algoritmi. Al contrario, Llama 3 di Meta è più trasparente, poiché la sua architettura e i suoi pesi sono disponibili per il download. Per la comunità dell'AI, ciò significa una maggiore libertà di sperimentare.

In questo articolo scopriremo cosa può fare Llama 3, come è nato e quale impatto ha avuto sul campo dell'AI. Iniziamo subito!

L'evoluzione dei modelli Llama di Meta#

Prima di approfondire Llama 3, diamo un'occhiata alle sue versioni precedenti.

Meta ha lanciato Llama 1 nel febbraio 2023, in quattro varianti con un numero di parametri compreso tra 7 e 65 miliardi. Nel machine learning, i "parametri" sono gli elementi del modello appresi dai dati di addestramento. A causa del numero ridotto di parametri, Llama 1 a volte faticava a comprendere le sfumature e forniva risposte incoerenti.

Poco dopo Llama 1, Meta ha lanciato Llama 2 nel luglio 2023. È stato addestrato su 2 trilioni di token. Un token rappresenta una porzione di testo, come una parola o parte di una parola, utilizzata come unità di base dei dati per l'elaborazione nel modello. Il modello includeva anche miglioramenti come una finestra di contesto raddoppiata, pari a 4096 token, per comprendere passaggi più lunghi, e oltre 1 milione di annotazioni umane per ridurre gli errori. Nonostante questi miglioramenti, Llama 2 richiedeva ancora molta potenza di calcolo, un aspetto che Meta puntava a risolvere con Llama 3.

Presentazione di Llama 3 di Meta#

Llama 3 è disponibile in quattro varianti, addestrate su ben 15 trilioni di token. Oltre il 5% di questi dati di addestramento, circa 800 milioni di token, rappresentava dati in 30 lingue diverse. Tutte le varianti di Llama 3 possono essere eseguite su vari tipi di hardware consumer e hanno una lunghezza del contesto di 8k token.

Fig. 1. Llama 3 rispetto a Llama 2.

Le varianti del modello sono disponibili in due dimensioni: 8B e 70B, che indicano rispettivamente 8 e 70 miliardi di parametri. Esistono inoltre due versioni: base e instruct. "Base" indica la versione standard preaddestrata. "Instruct" è una versione ottimizzata tramite fine-tuning per applicazioni o ambiti specifici, grazie a un ulteriore addestramento su dati pertinenti.

Queste sono le varianti del modello Llama 3:

• Meta-Llama-3-8b: il modello base 8B offre funzionalità fondamentali di AI ed è ideale per attività generiche, come lo sviluppo di chatbot per il servizio clienti.
• Meta-Llama-3-8b-instruct: una versione instruct del modello 8B ottimizzata tramite fine-tuning per attività specifiche. Ad esempio, può essere utilizzata per creare strumenti didattici che spiegano argomenti complessi.
• Meta-Llama-3-70b: il modello base 70B è progettato per applicazioni di AI ad alte prestazioni. È adatto ad applicazioni come l'elaborazione di un'ampia letteratura biomedica per la scoperta di farmaci.
• Meta-Llama-3-70b-instruct: questa versione è stata sottoposta a fine-tuning a partire dal modello 70B per applicazioni che richiedono un'elevata precisione, come l'analisi di documenti legali o medici, dove l'accuratezza è fondamentale.

L'architettura del modello Llama 3 di Meta#

Come per ogni altro progresso di Meta nel campo dell'AI, durante lo sviluppo di Llama 3 sono state adottate rigorose misure di controllo della qualità per mantenere l'integrità dei dati e ridurre al minimo i bias. Il risultato finale è quindi un modello potente creato in modo responsabile.

L'architettura del modello Llama 3 si distingue per l'attenzione all'efficienza e alle prestazioni nelle attività di elaborazione del linguaggio naturale. Basata su un'architettura Transformer, pone l'accento sull'efficienza computazionale, soprattutto durante la generazione del testo, utilizzando un'architettura con solo decoder.

Il modello genera gli output basandosi esclusivamente sul contesto precedente, senza un encoder che codifichi gli input, rendendolo molto più veloce.

Fig. 2. Architettura responsabile del modello Llama 3.

I modelli Llama 3 includono un tokenizer con un vocabolario di 128K token. Un vocabolario più ampio consente ai modelli di comprendere ed elaborare meglio il testo. Inoltre, i modelli utilizzano ora l'attenzione alle query raggruppate (GQA) per migliorare l'efficienza dell'inferenza. La GQA è una tecnica che puoi immaginare come un riflettore, in grado di aiutare i modelli a concentrarsi sulle parti pertinenti dei dati di input per generare risposte più rapide e accurate.

Ecco altri dettagli interessanti sull'architettura del modello Llama 3:

• Elaborazione dei documenti consapevole dei confini: Llama 3 mantiene la chiarezza tra i confini dei documenti, un aspetto fondamentale per attività come la sintesi.
• Migliore comprensione del codice: i dati di addestramento di Llama 3 includono un numero di esempi di codice quattro volte superiore, potenziandone le capacità di programmazione.
• Controllo qualità avanzato: misure rigorose, inclusi filtri euristici e la rimozione di contenuti NSFW, garantiscono l'integrità dei dati e riducono al minimo i bias.

Llama 3 sta trasformando il nostro approccio all'addestramento dei modelli#

Per addestrare i modelli Llama 3 più grandi sono stati combinati tre tipi di parallelizzazione: parallelizzazione dei dati, parallelizzazione del modello e parallelizzazione della pipeline.

La parallelizzazione dei dati distribuisce i dati di addestramento su più GPU, mentre la parallelizzazione del modello suddivide l'architettura del modello per utilizzare la potenza di calcolo di ciascuna GPU. La parallelizzazione della pipeline divide il processo di addestramento in fasi sequenziali, ottimizzando il calcolo e la comunicazione.

L'implementazione più efficiente ha raggiunto un utilizzo delle risorse di calcolo eccezionale, superando i 400 TFLOPS per GPU durante l'addestramento simultaneo su 16.000 GPU. Queste sessioni di addestramento sono state eseguite su due cluster di GPU realizzati su misura, ciascuno composto da 24.000 GPU. Questa notevole infrastruttura computazionale ha fornito la potenza necessaria per addestrare in modo efficiente i modelli Llama 3 su larga scala.

Per massimizzare il tempo di attività delle GPU, è stato sviluppato un nuovo stack di addestramento avanzato che automatizza il rilevamento e la gestione degli errori, nonché la manutenzione. L'affidabilità dell'hardware e i meccanismi di rilevamento sono stati notevolmente migliorati per ridurre i rischi di corruzione silenziosa dei dati. Inoltre, sono stati sviluppati nuovi sistemi di storage scalabili per ridurre l'overhead dei checkpoint e dei rollback.

Questi miglioramenti hanno portato a un'efficacia complessiva dell'addestramento superiore al 95%. Nel complesso, hanno aumentato di circa tre volte l'efficienza dell'addestramento di Llama 3 rispetto a Llama 2. Questa efficienza non è solo impressionante: sta aprendo nuove possibilità per i metodi di addestramento dell'AI.

Llama 3 apre nuove possibilità#

Poiché Llama 3 è open source, ricercatori e studenti possono studiarne il codice, condurre esperimenti e partecipare a discussioni su questioni etiche e bias. Tuttavia, Llama 3 non è destinato solo al mondo accademico. Sta producendo risultati concreti anche nelle applicazioni pratiche. Sta diventando la base dell'interfaccia di chat Meta AI, integrandosi perfettamente in piattaforme come Facebook, Instagram, WhatsApp e Messenger. Con Meta AI, gli utenti possono conversare in linguaggio naturale, accedere a consigli personalizzati, eseguire attività e connettersi facilmente con altre persone.

Fig. 3. Meta AI: basata su Llama 3.

Confronto tra Llama 3 e altri modelli linguistici di grandi dimensioni (LLM)#

Llama 3 offre prestazioni eccezionali in diversi benchmark chiave che valutano la comprensione e le capacità di ragionamento linguistico complesso. Ecco alcuni benchmark che mettono alla prova vari aspetti delle capacità di Llama 3:

• Comprensione linguistica multitask su vasta scala (MMLU): misura le conoscenze del modello in diversi ambiti.
• Risposta a domande per uso generale (GPQA): valuta la capacità del modello di generare risposte coerenti e corrette a un'ampia gamma di domande di cultura generale.
• HumanEval: si concentra su attività di programmazione e risoluzione dei problemi, verificando la capacità del modello di generare codice di programmazione funzionale e risolvere sfide algoritmiche.

Gli straordinari risultati di Llama 3 in questi test lo distinguono chiaramente da concorrenti come Gemma 7B di Google, Mistral 7B di Mistral e Claude 3 Sonnet di Anthropic. Secondo le statistiche pubblicate, in particolare per il modello 70B, Llama 3 supera questi modelli in tutti i benchmark sopra indicati.

Fig. 4. Confronto tra Llama 3 e altri modelli linguistici di grandi dimensioni (LLM).

Meta Llama 3 è ampiamente accessibile#

Meta sta ampliando la portata di Llama 3 rendendolo disponibile su diverse piattaforme, sia per gli utenti generici sia per gli sviluppatori. Per gli utenti di tutti i giorni, Llama 3 è integrato nelle piattaforme più diffuse di Meta, come WhatsApp, Instagram, Facebook e Messenger. Gli utenti possono accedere a funzionalità avanzate, come la ricerca in tempo reale e la possibilità di generare contenuti creativi direttamente all'interno di queste app.

Llama 3 viene inoltre integrato in tecnologie indossabili come gli occhiali smart Ray-Ban Meta e il visore VR Meta Quest, per offrire esperienze interattive.

Llama 3 è disponibile su diverse piattaforme per sviluppatori, tra cui AWS, Databricks, Google Cloud, Hugging Face, Kaggle, IBM WatsonX, Microsoft Azure, NVIDIA NIM e Snowflake. Puoi accedere a questi modelli anche direttamente da Meta. L'ampia gamma di opzioni consente agli sviluppatori di integrare facilmente nei propri progetti le funzionalità avanzate di questi modelli di AI, scegliendo se lavorare direttamente con Meta o tramite altre piattaforme diffuse.

In sintesi#

I progressi del machine learning continuano a trasformare il modo in cui interagiamo ogni giorno con la tecnologia. Llama 3 di Meta dimostra che i modelli linguistici di grandi dimensioni (LLM) non servono più soltanto a generare testo. I modelli linguistici di grandi dimensioni (LLM) affrontano problemi complessi e gestiscono più lingue. Nel complesso, Llama 3 sta rendendo l'AI più adattabile e accessibile che mai. Guardando al futuro, gli aggiornamenti previsti per Llama 3 promettono capacità ancora maggiori, come la gestione di più modelli e la comprensione di contesti più ampi.

Dai un'occhiata al nostro repository GitHub e unisciti alla nostra community per saperne di più sull'AI. Visita le nostre pagine sulle soluzioni per scoprire come l'AI viene applicata in ambiti come la produzione e l'agricoltura.