Large Action Models (LAM)

Un grand modèle d’action (LAM) est un modèle d’IA entraîné à transformer une demande en une séquence d’actions exécutables par un logiciel, comme des appels API, des clics et des frappes au clavier, plutôt qu’en une réponse textuelle. La plupart des LAM partent d’un grand modèle de langage (LLM) et sont ajustés finement sur des trajectoires de tâches enregistrées jusqu’à ce qu’ils choisissent de manière fiable l’action suivante, renseignent ses arguments et récupèrent après l’échec d’une étape ; ils constituent ainsi le cœur décisionnel d’un agent d’IA. La startup Rabbit a popularisé le terme en janvier 2024, lorsque son PDG Jesse Lyu a présenté l’appareil portatif R1 et décrit son LAM comme un modèle ayant appris à utiliser des applications en observant des personnes s’en servir. Les groupes de recherche emploient désormais ce nom pour les modèles entraînés et évalués sur l’exécution d’actions, notamment la famille xLAM de Salesforce : cinq modèles allant de 1 milliard de paramètres à un mélange d’experts (MoE) 8x22B, que l’article de septembre 2024 a classé en première position au Berkeley Function Calling Leaderboard, devant GPT-4 et Claude 3.

Comment les grands modèles d’action sont entraînés#

L’article de Microsoft Grands modèles d’action : de la conception à la mise en œuvre, publié en décembre 2024, décrit l’ensemble du processus pour un modèle qui utilise Microsoft Word. À partir de Mistral-7B, l’équipe l’a entraîné en quatre phases : préentraînement à la planification des tâches, qui apprend à décomposer les demandes en étapes ; apprentissage à partir de trajectoires expertes enregistrées avec GPT-4o ; exploration par auto-amélioration, où le modèle tente des tâches ayant échoué pour l’expert et conserve ses propres exécutions réussies comme nouvelles données d’entraînement ; et apprentissage par renforcement à l’aide d’un modèle de récompense appris. Exécuté dans UFO, l’agent d’interface graphique Windows de Microsoft, le modèle final a réussi 71,0 % des tâches Word en direct en 30,42 secondes en moyenne. GPT-4o, à qui l’on a fourni la même description textuelle des commandes de la fenêtre, en a réussi 63,0 % en 86,42 secondes ; il n’a obtenu de meilleurs résultats qu’avec des captures d’écran, à raison de 96,48 secondes par tâche.

Au moment de l’exécution, un LAM répète un même cycle jusqu’à ce que la tâche soit terminée : lire la demande et l’état actuel, choisir une action, laisser le système d’exécution l’exécuter, puis observer le résultat.

Actions par API et interfaces#

Lorsqu’une application propose une API, le modèle émet des appels de fonction : une opération nommée avec des arguments conformes à un schéma JSON, que son système d’exécution d’agent valide et exécute. Lorsque le logiciel ne propose qu’une interface graphique, le modèle fonctionne comme un agent d’utilisation d’ordinateur : il sélectionne une commande dans l’arborescence d’accessibilité ou la repère dans une capture d’écran par ancrage, puis clique et saisit du texte. Les actions par API sont plus rapides et plus faciles à vérifier ; les agents les privilégient donc dès qu’elles existent et utilisent l’écran pour les logiciels anciens. La vision devient une action API de plus : un modèle YOLO26 déployé sur un point de terminaison dédié d’Ultralytics Platform répond à une requête POST unique contenant un fichier image ou une URL et renvoie ses résultats de détection d’objets au format JSON, le même type de sortie structurée que le modèle récupère auprès de tout autre outil.

LAM et termes associés#

• LLM : modèle entraîné à générer du texte. Un LAM est généralement un LLM ayant reçu un entraînement supplémentaire pour que sa sortie soit une action exécutable ; la distinction s’estompe à mesure que les modèles généralistes acquièrent la capacité d’appeler des fonctions et d’utiliser un ordinateur.
• Agent d’IA : système complet comprenant le modèle, le système d’exécution, les outils, la mémoire et les autorisations, souvent conçu comme un flux de travail agentique. Le LAM est le modèle qui y décide de chaque action.
• RAG agentique : utilise des appels d’outils pour rechercher et recueillir des informations avant de répondre à une question. Les actions d’un LAM modifient l’état d’un système, par exemple en envoyant un e-mail, en modifiant un document ou en remplissant un formulaire.
• Modèles vision-langage-action (VLA) : leur équivalent en robotique dans l’IA incarnée, qui convertit les images des caméras et les instructions en commandes motrices, comme Gemini Robotics. RT-2, de Google DeepMind, publié en juillet 2023, a démontré cette approche en ajustant finement un modèle vision-langage pour qu’il produise les actions du robot sous forme de jetons textuels.