Large Language Model (LLM)

Un modello linguistico di grandi dimensioni (LLM) è una rete neurale, quasi sempre un Transformer, con miliardi di parametri addestrati su migliaia di miliardi di token di testo per prevedere il token successivo di una sequenza. Applicato su larga scala, questo unico obiettivo produce modelli capaci di rispondere a domande, riassumere documenti, tradurre, scrivere codice e richiamare strumenti software. GPT di OpenAI, Claude di Anthropic e Gemini di Google sono famiglie di LLM offerte tramite API, mentre Llama di Meta, Qwen di Alibaba, DeepSeek, Mistral e gpt-oss di OpenAI pubblicano pesi aperti. L'architettura Transformer deriva dall'articolo del 2017 Attention Is All You Need; nel 2020, GPT-3 ha mostrato che un modello da 175 miliardi di parametri poteva apprendere attività dagli esempi nel prompt, e nel novembre 2022 ChatGPT ha portato gli LLM a un pubblico di massa.

Come funzionano gli LLM#

Un LLM esegue innanzitutto la tokenizzazione per convertire il testo in ID di token e recupera un vettore di embedding per ciascuno. I vettori passano attraverso una pila di blocchi identici, ognuno dei quali combina la self-attention causale, che consente a ogni token di attingere informazioni dai token precedenti, con un livello feed-forward che trasforma ciascun token separatamente. L'ultimo blocco produce una probabilità softmax per ogni token del vocabolario; il modello ne sceglie uno, lo aggiunge e ripete il processo: così funziona la generazione del testo:

La dimensione si misura in parametri e molti modelli recenti sono sparsi. In una miscela di esperti (MoE), un router invia ogni token a pochi esperti feed-forward tra i molti disponibili, così DeepSeek-V3 ha 671 miliardi di parametri ma ne usa 37 miliardi per token. La quantità di testo che un modello può leggere in una sola volta, la sua finestra di contesto, è passata dai 2.048 token di GPT-3 a un milione o più in diversi modelli attuali; l'elaborazione di input così lunghi dipende da una cache KV che memorizza le chiavi e i valori di attenzione di ogni token precedente.

Come vengono addestrati gli LLM#

Il preaddestramento è apprendimento auto-supervisionato: il modello prevede ogni token successivo di pagine web, libri e codice, senza etichette umane. Le leggi di scalabilità prevedono come diminuisce la loss aumentando parametri, dati e calcolo, e lo studio Chinchilla di DeepMind ha rilevato che l'addestramento ottimale rispetto al calcolo usa circa 20 token per parametro. Oggi i modelli vengono addestrati ben oltre tale rapporto: Meta ha preaddestrato Llama 3 su circa 15.000 miliardi di token. Il post-addestramento trasforma il modello base risultante in un assistente. L'ottimizzazione delle istruzioni gli insegna a seguire le richieste, e l'apprendimento per rinforzo dal feedback umano (RLHF) o l'ottimizzazione diretta delle preferenze allinea le sue risposte alle preferenze umane; i risultati di InstructGPT di OpenAI hanno mostrato che gli annotatori preferivano un modello ottimizzato da 1,3 miliardi di parametri rispetto a GPT-3 da 175 miliardi. I modelli di ragionamento come o1 di OpenAI e DeepSeek-R1 aggiungono l'apprendimento per rinforzo su larga scala; nel caso di DeepSeek-R1, l'apprendimento per rinforzo con ricompense verificabili su problemi di matematica e programmazione con risposte verificabili li addestra a esplicitare lunghe catene di ragionamento prima di rispondere. I team adattano poi un modello al proprio dominio con il fine-tuning, spesso tramite LoRA, oppure lasciano invariati i pesi e forniscono conoscenze tramite la generazione aumentata dal recupero (RAG).

Applicazioni#

Gli LLM alimentano chatbot e assistenti, strumenti di programmazione agentica che modificano e testano interi repository, sistemi di ricerca e risposta a domande sui documenti e agenti IA che pianificano attività in più fasi tramite chiamate di funzione. Aggiungendo un encoder di immagini, un LLM diventa un modello visione-linguaggio (VLM) che risponde a domande su foto, grafici e fotogrammi video. Anche le principali famiglie di LLM leggono immagini e la classifica VLM di Ultralytics confronta la precisione con cui modelli come GPT-6.1 Sol, Claude Opus 5.5 e Gemini 4 Argon rilevano oggetti nei dataset del mondo reale. L'interfaccia LLM di Ultralytics invia testo o immagini a modelli compatibili con OpenAI di OpenAI, DeepSeek, Kimi, Z.AI, OpenRouter o un server locale, così una pipeline YOLO26 può chiamare un LLM solo quando un rilevamento richiede una spiegazione, ad esempio per descrivere una scena quando compare una persona.

Gli LLM a confronto con i termini correlati#

• Elaborazione del linguaggio naturale (NLP): il campo informatico che si occupa del linguaggio umano. Oggi gli LLM sono il tipo di modello predominante in questo campo.
• IA generativa: qualsiasi modello che crea nuovi contenuti, inclusi generatori di immagini, audio e video.
• Modello di base: la categoria più ampia, definita da ricercatori di Stanford nel 2021, che comprende modelli di grandi dimensioni preaddestrati su dati generici e adattati a molte attività. Include sia modelli visivi di base sia LLM.
• Modello linguistico di piccole dimensioni (SLM): un modello linguistico abbastanza compatto da poter funzionare su telefoni, laptop o servizi a basso costo, in genere con pochi miliardi di parametri o meno.

Limiti#

Gli LLMs producono testi scorrevoli, siano o meno veritieri, quindi le allucinazioni restano il rischio principale nelle attività che richiedono accuratezza fattuale, e un modello non sa nulla di ciò che accade dopo la data limite del suo addestramento, a meno che il recupero di informazioni o gli strumenti non gli forniscano tali informazioni. I dati di addestramento trasmettono al modello i propri pregiudizi, e le istruzioni nascoste nelle pagine web o nei documenti possono dirottare un agente tramite iniezione di prompt. L'accuratezza diminuisce inoltre quando i contesti diventano molto lunghi, un fenomeno chiamato degrado del contesto. Anche l'esecuzione degli LLMs richiede molta memoria: un modello da 70 miliardi di parametri richiede circa 140 GB per i pesi a 16 bit e circa 35 GB a 4 bit; per questo i formati di quantizzazione dei modelli come GGUF consentono di eseguire modelli di questo tipo su una singola workstation.