Large Action Models (LAM)

Um modelo de ação de grande escala (LAM) é um modelo de IA treinado para transformar um pedido numa sequência de ações que o software pode executar, como chamadas de API, cliques e teclas pressionadas, em vez de numa resposta em texto. A maioria dos LAM começa como um modelo de linguagem de grande escala (LLM) e é ajustada com trajetórias de tarefas registadas até escolherem de forma fiável a ação seguinte, preencherem os respetivos argumentos e recuperarem de falhas, o que os torna o núcleo de tomada de decisões de um agente de IA. A startup Rabbit popularizou o termo em janeiro de 2024, quando o CEO Jesse Lyu apresentou o dispositivo portátil R1 e descreveu o LAM como um modelo que aprendeu a operar aplicações observando pessoas a utilizá-las. Atualmente, grupos de investigação usam o nome para modelos treinados e avaliados em tarefas de execução de ações, sobretudo a família xLAM da Salesforce: cinco modelos, desde mil milhões de parâmetros até uma mistura de especialistas (MoE) 8x22B, que um artigo de setembro de 2024 classificou em primeiro lugar no Berkeley Function Calling Leaderboard, à frente do GPT-4 e do Claude 3.

Como se treinam os modelos de ação de grande escala#

O artigo da Microsoft Large Action Models: From Inception to Implementation, publicado em dezembro de 2024, documenta todo o processo de criação de um modelo que opera o Microsoft Word. Partindo do Mistral-7B, a equipa treinou-o em quatro fases: pré-treino de planos de tarefas sobre a decomposição de pedidos em etapas; aprendizagem a partir de trajetórias de especialistas registadas com o GPT-4o; exploração de autoaperfeiçoamento, na qual o modelo tentava tarefas em que o especialista falhara e guardava as próprias execuções bem-sucedidas como novos dados de treino; e aprendizagem por reforço com base num modelo de recompensa aprendido. A executar no UFO, o agente de interface gráfica do Windows da Microsoft, o modelo final concluiu 71,0% das tarefas reais no Word em 30,42 segundos, em média. Com a mesma descrição textual dos controlos da janela, o GPT-4o concluiu 63,0% das tarefas e demorou 86,42 segundos; só teve mais sucesso quando recebeu capturas de ecrã, demorando 96,48 segundos por tarefa.

Durante a execução, um LAM repete um ciclo até concluir a tarefa: lê o pedido e o estado atual, escolhe uma ação, deixa o sistema de execução executá-la e observa o resultado.

Ações através de APIs e interfaces#

Quando uma aplicação disponibiliza uma API, o modelo emite chamadas de função: uma operação identificada por um nome, com argumentos que correspondem a um esquema JSON, que o respetivo sistema de execução do agente valida e executa. Quando o software só oferece uma interface gráfica, o modelo funciona como um agente de utilização de computador, selecionando um controlo na árvore de acessibilidade ou localizando-o numa captura de ecrã através da ancoragem, para depois clicar e escrever. As ações de API são mais rápidas e fáceis de verificar, por isso os agentes preferem-nas sempre que estão disponíveis e recorrem ao ecrã para software antigo. A visão torna-se mais uma ação de API: um modelo YOLO26 implementado num ponto de acesso dedicado da Ultralytics Platform responde a um único pedido POST com um ficheiro de imagem ou URL e devolve os resultados da deteção de objetos em JSON, o mesmo tipo de saída estruturada que o modelo recebe de qualquer outra ferramenta.

LAMs vs. termos relacionados#

• LLM: Um modelo treinado para gerar texto. Um LAM é normalmente um LLM com treino adicional para produzir ações executáveis, e a distinção esbate-se à medida que os modelos de uso geral ganham capacidades de chamada de funções e utilização de computadores.
• Agente de IA: O sistema completo de modelo, sistema de execução, ferramentas, memória e permissões, muitas vezes criado como um fluxo de trabalho agêntico. O LAM é o modelo dentro desse sistema que decide cada ação.
• RAG agêntico: Usa chamadas de ferramentas para pesquisar e recolher informações antes de responder a uma pergunta. As ações de um LAM alteram o estado de um sistema, por exemplo, ao enviar um e-mail, editar um documento ou preencher um formulário.
• Modelos de visão, linguagem e ação (VLA): A vertente da robótica na IA incorporada, que converte imagens de câmaras e instruções em comandos motores, como no Gemini Robotics. O RT-2 da Google DeepMind, lançado em julho de 2023, demonstrou esta abordagem ao ajustar um modelo de visão e linguagem para produzir ações robóticas como tokens de texto.