Large Action Models (LAM)

Un modello di azioni di grandi dimensioni (LAM) è un modello di IA addestrato a trasformare una richiesta in una sequenza di azioni eseguibili da un software, come chiamate API, clic e pressioni di tasti, anziché in una risposta testuale. La maggior parte dei LAM parte da un modello linguistico di grandi dimensioni (LLM) e viene ottimizzata ulteriormente su traiettorie di attività registrate, finché non sceglie in modo affidabile l'azione successiva, ne compila gli argomenti e recupera il flusso quando un passaggio fallisce; per questo costituisce il nucleo decisionale di un agente di IA. La startup Rabbit ha reso popolare il termine nel gennaio 2024, quando il CEO Jesse Lyu presentò il dispositivo portatile R1 e descrisse il suo LAM come un modello che aveva imparato a usare le app osservando le persone. I gruppi di ricerca usano ora il termine per modelli addestrati e valutati in base alla capacità di eseguire azioni; il caso più noto è la famiglia xLAM di Salesforce: cinque modelli da 1 miliardo di parametri fino a una miscela di esperti (MoE) 8x22B, che secondo un articolo del settembre 2024 si è classificata al primo posto nella Berkeley Function Calling Leaderboard, davanti a GPT-4 e Claude 3.

Come si addestrano i modelli di azioni di grandi dimensioni#

L'articolo di Microsoft Large Action Models: From Inception to Implementation, pubblicato nel dicembre 2024, documenta l'intero processo per un modello che usa Microsoft Word. Partendo da Mistral-7B, il team lo ha addestrato in quattro fasi: preaddestramento dei piani delle attività per imparare a suddividere le richieste in passaggi; apprendimento da traiettorie esperte registrate con GPT-4o; esplorazione di auto-potenziamento, in cui il modello tentava attività fallite dall'esperto e conservava le proprie esecuzioni riuscite come nuovi dati di addestramento; e apprendimento per rinforzo basato su un modello di ricompensa appreso. Eseguito all'interno di UFO, l'agente GUI di Windows di Microsoft, il modello finale ha completato il 71,0% delle attività reali in Word in una media di 30,42 secondi. GPT-4o, a cui era stata fornita la stessa descrizione testuale dei controlli della finestra, ne ha completato il 63,0% impiegando 86,42 secondi; è riuscito più spesso solo quando sono stati aggiunti screenshot, impiegando 96,48 secondi per attività.

In fase di esecuzione, un LAM ripete un ciclo finché l'attività non è completata: legge la richiesta e lo stato corrente, sceglie un'azione, lascia che il sistema di esecuzione la esegua e ne osserva il risultato.

Azioni tramite API e interfacce#

Quando un'applicazione offre un'API, il modello genera chiamate di funzione: un'operazione denominata con argomenti conformi a uno schema JSON, che il sistema di esecuzione dell'agente convalida ed esegue. Quando il software offre solo un'interfaccia grafica, il modello opera come un agente per l'uso del computer, selezionando un controllo nell'albero di accessibilità o individuandolo in uno screenshot tramite il grounding, quindi facendo clic e digitando. Le azioni tramite API sono più rapide e facili da verificare, quindi gli agenti le preferiscono quando sono disponibili e ricorrono allo schermo per i software legacy. La visione diventa un'altra azione API: un modello YOLO26 distribuito su un endpoint dedicato della piattaforma Ultralytics risponde a una singola richiesta POST contenente un file immagine o un URL, restituendo in JSON i risultati del suo rilevamento degli oggetti: lo stesso tipo di output strutturato che il modello legge dagli altri strumenti.

LAM e termini correlati#

• LLM: modello addestrato a generare testo. Un LAM è di solito un LLM sottoposto a ulteriore addestramento affinché il suo output sia un'azione eseguibile; la distinzione si fa meno netta man mano che i modelli generali acquisiscono capacità di chiamata di funzioni e uso del computer.
• Agente di IA: il sistema completo, composto da modello, sistema di esecuzione, strumenti, memoria e autorizzazioni, spesso realizzato come workflow agentico. Il LAM è il modello al suo interno che decide ogni azione.
• RAG agentico: usa chiamate agli strumenti per cercare e raccogliere informazioni prima di rispondere a una domanda. Le azioni eseguite da un LAM modificano lo stato di un sistema, per esempio inviando un'email, modificando un documento o compilando un modulo.
• Modelli visione-linguaggio-azione (VLA): la controparte nel campo della robotica nell'ambito dell'IA incorporata, che mappa immagini delle telecamere e istruzioni in comandi motori, come Gemini Robotics. RT-2 di Google DeepMind, rilasciato nel luglio 2023, ha dimostrato l'approccio ottimizzando ulteriormente un modello visione-linguaggio affinché generasse azioni robotiche come token testuali.