AI Agent

Un agent d’IA est un système qui poursuit un objectif en observant à plusieurs reprises son environnement, en décidant de l’étape suivante et en l’exécutant, puis en utilisant le résultat pour déterminer la suite. Le manuel classique Artificial Intelligence: A Modern Approach définit un agent comme tout ce qui perçoit son environnement par des capteurs et agit sur celui-ci par des actionneurs ; cette définition englobe les thermostats, les programmes de jeu et les robots. Depuis 2023, le terme désigne surtout des agents fondés sur de grands modèles de langage (LLM) : le modèle interprète un objectif, appelle des outils tels que la recherche Web, l’exécution de code ou des API professionnelles, examine les résultats de chaque outil et poursuit le processus jusqu’à juger la tâche terminée. Les assistants de programmation qui modifient et testent un dépôt entier, les assistants de recherche qui consultent et citent des dizaines de sources, ainsi que les agents d’utilisation de l’ordinateur qui interagissent avec un ordinateur de bureau à l’aide de captures d’écran et de clics fonctionnent tous de cette façon.

Fonctionnement d’un agent d’IA#

Un agent LLM s’exécute dans une boucle. Le modèle reçoit l’objectif, l’historique de la conversation et la liste des outils disponibles, puis rédige une réponse finale ou émet un appel d’outil. Le programme qui l’entoure, appelé environnement d’exécution de l’agent, vérifie si l’action est autorisée, l’exécute et ajoute le résultat au contexte du modèle en tant que nouvelle observation. Le modèle décide alors de l’étape suivante en tenant compte de ces éléments. Le prompting ReAct a établi le principe consistant à alterner raisonnement écrit et actions, et les modèles de raisonnement actuels sont entraînés par apprentissage par renforcement à fonctionner ainsi sur de longues séquences d’appels d’outils.

La plupart des agents combinent les quatre mêmes composants fondamentaux. Le modèle, un LLM polyvalent ou un modèle vision-langage, décide de chaque étape. Les outils sont des fonctions décrites par un nom, un objectif et un schéma JSON pour leurs arguments ; le Model Context Protocol (MCP) permet à un agent de se connecter aux outils publiés par d’autres équipes. La mémoire couvre la fenêtre de contexte, qui contient la tâche en cours, ainsi que les fichiers, bases de données ou bases de données vectorielles dans lesquels l’agent recherche des informations plus anciennes ; les compétences d’agent regroupent des instructions réutilisables qui ne sont chargées que lorsqu’une tâche en a besoin. La planification décompose l’objectif en étapes, suit leur avancement et révise le plan en cas d’échec.

Agents d’IA, modèles et flux de travail#

Une définition largement utilisée, tirée du guide d’Anthropic sur la création d’agents efficaces, réserve le terme « agent » aux systèmes dans lesquels le LLM dirige son propre processus et l’utilisation de ses outils.

• Modèle d’IA : un modèle fait correspondre une entrée à une sortie, par exemple une image à une liste d’objets détectés. Un agent appelle des modèles, souvent à plusieurs reprises, et décide quoi faire de leurs résultats.
• Flux de travail agentiques : les appels au LLM et les outils suivent des chemins d’exécution définis à l’avance par un développeur, par exemple extraire, puis classer, puis résumer. Dans un agent, le modèle choisit le nombre d’étapes nécessaires à une tâche et les outils utilisés à chaque étape.
• Robots conversationnels : un robot conversationnel répond tour à tour à chaque message. Un agent agit entre les messages et peut travailler pendant des minutes ou des heures sans intervention humaine.
• Systèmes multi-agents : plusieurs agents dotés de rôles et de contextes distincts coopèrent sur une tâche sous la supervision d’une couche d’orchestration qui répartit le travail et fusionne les résultats.

Types d’agents d’IA#

La taxonomie classique de Russell et Norvig classe les agents selon leur capacité à raisonner sur le monde :

• Agents réflexes simples : ils réagissent à l’entrée actuelle selon des règles fixes de condition-action, comme un thermostat ou un éclairage déclenché par le mouvement.
• Agents réflexes à base de modèle : ils maintiennent un état interne qui suit des parties du monde qu’ils ne peuvent pas observer actuellement, par exemple les personnes déjà aperçues.
• Agents fondés sur des objectifs : ils recherchent ou planifient des séquences d’actions permettant d’atteindre un objectif défini, comme un planificateur d’itinéraire.
• Agents fondés sur l’utilité : ils choisissent parmi les résultats possibles en fonction d’un score d’utilité, en arbitrant entre rapidité, coût et risque.
• Agents apprenants : ils améliorent leur comportement grâce à l’expérience, généralement au moyen de récompenses.

Les agents LLM sont des agents fondés sur des objectifs, dont la planification s’effectue sous forme de texte ; les agents entraînés par apprentissage par renforcement sur des tâches d’utilisation d’outils sont également des agents apprenants.

Créer un agent visuel simple#

Un agent fondé sur une caméra perçoit son environnement à l’aide d’un modèle de détection et agit par l’intermédiaire de code. Dans cet exemple d’agent réflexe à base de modèle, le suivi avec Ultralytics YOLO26 attribue à chaque personne un identifiant persistant d’une image vidéo à l’autre. L’agent conserve les identifiants des personnes sur lesquelles il a déjà agi afin que chaque personne déclenche une seule alerte, et non une alerte par image :

from ultralytics import YOLO

model = YOLO("yolo26n.pt")
video = "https://github.com/ultralytics/assets/releases/download/v0.0.0/decelera_portrait_min.mov"
alerted = set()  # The agent's memory of people it has already acted on

for frame, result in enumerate(model.track(video, stream=True, classes=[0])):
    # Perceive: IDs of the people tracked in this frame
    ids = set(result.boxes.id.int().tolist()) if result.boxes.is_track else set()

    # Decide and act: alert once for each person not seen before
    for track_id in sorted(ids - alerted):
        print(f"Frame {frame}: person {track_id} entered, alert sent")
    alerted |= ids

Le journal affiché contient une ligne par nouvelle personne, ce qui illustre l’effet de l’état interne : un modèle seul signalerait à nouveau chaque personne dans chaque image.

Applications concrètes#

• Programmation agentique : les agents de programmation lisent un dépôt, modifient des fichiers, exécutent les tests et corrigent les échecs jusqu’à ce que le changement passe les tests.
• Recherche et analyse : Les agents de recherche effectuent de nombreuses recherches, lisent les sources et rédigent un rapport avec citations, souvent en répartissant la question entre plusieurs sous-agents.
• Fabrication : Un agent d’inspection visuelle associe un détecteur de défauts aux systèmes de l’usine : il arrête un convoyeur, consigne le défaut et ouvre un ticket de maintenance lorsque les défauts se concentrent.
• IA physique : Les robots d’entrepôt et domestiques perçoivent leur environnement avec des caméras, planifient une prise ou un itinéraire et agissent au moyen de moteurs, en bouclant le processus de nombreuses fois par seconde.

Fiabilité et sécurité#

Les erreurs s’accumulent au fil des longues tâches, car une seule mauvaise étape peut compromettre toutes les suivantes. Les équipes évaluent donc les agents de bout en bout à l’aide de benchmarks d’évaluation des agents et de traces d’exécutions réelles. Les agents qui lisent des pages Web, des e-mails ou des fichiers peuvent rencontrer des injections de prompt, c’est-à-dire des instructions intégrées au contenu pour tenter de détourner l’agent. Les environnements d’exécution limitent donc les autorisations de chaque outil, exécutent le code dans des environnements isolés et demandent l’approbation d’une personne avant toute action irréversible, comme un paiement ou une suppression. Les capacités progressent rapidement : METR a constaté que la durée des tâches logicielles que les agents de pointe pouvaient accomplir avec une fiabilité de 50 % doublait environ tous les sept mois, de 2019 au début de 2025.