Large Action Models (LAM)

Un modelo de acciones de gran tamaño (LAM) es un modelo de IA entrenado para convertir una solicitud en una secuencia de acciones que el software puede ejecutar, como llamadas a API, clics y pulsaciones de teclas, en lugar de en una respuesta de texto. La mayoría de los LAM parten de un modelo de lenguaje de gran tamaño (LLM) y se ajustan con trayectorias de tareas registradas hasta que seleccionan de forma fiable la siguiente acción, completan sus argumentos y se recuperan cuando falla un paso. Por eso, son el núcleo de toma de decisiones de un agente de IA. La startup Rabbit popularizó el término en enero de 2024, cuando su director ejecutivo, Jesse Lyu, presentó el dispositivo portátil R1 y describió su LAM como un modelo que había aprendido a manejar aplicaciones observando a la gente usarlas. Hoy, los grupos de investigación utilizan el término para modelos entrenados y evaluados en la ejecución de acciones, sobre todo para la familia xLAM de Salesforce: cinco modelos que van desde los 1.000 millones de parámetros hasta una mezcla de expertos (MoE) 8x22B, que, según el artículo de septiembre de 2024, ocupó el primer puesto en Berkeley Function Calling Leaderboard, por delante de GPT-4 y Claude 3.

Cómo se entrenan los modelos de acciones de gran tamaño#

El artículo de Microsoft Large Action Models: From Inception to Implementation, publicado en diciembre de 2024, documenta todo el proceso para crear un modelo que maneja Microsoft Word. El equipo partió de Mistral-7B y lo entrenó en cuatro fases: preentrenamiento de planes de tareas para aprender cómo se dividen las solicitudes en pasos; aprendizaje a partir de trayectorias de expertos registradas con GPT-4o; exploración de autoaprendizaje, en la que el modelo intentaba tareas que el experto había fallado y conservaba sus propias ejecuciones satisfactorias como nuevos datos de entrenamiento; y aprendizaje por refuerzo con un modelo de recompensa aprendido. El modelo final, ejecutado dentro de UFO, el agente de interfaz gráfica de Windows de Microsoft, completó el 71,0 % de las tareas reales de Word en una media de 30,42 segundos. GPT-4o, con la misma descripción en texto de los controles de la ventana, completó el 63,0 % y tardó 86,42 segundos; solo obtuvo mejores resultados al añadir capturas de pantalla, con un tiempo de 96,48 segundos por tarea.

Durante la ejecución, un LAM repite un ciclo hasta terminar la tarea: lee la solicitud y el estado actual, elige una acción, deja que el entorno de ejecución la lleve a cabo y observa el resultado.

Acciones mediante API e interfaces#

Cuando una aplicación ofrece una API, el modelo genera llamadas a funciones: una operación con nombre y argumentos que se ajustan a un esquema JSON, que el entorno de ejecución del agente valida y ejecuta. Cuando el software solo ofrece una interfaz gráfica, el modelo funciona como un agente de uso del ordenador: selecciona un control en el árbol de accesibilidad o lo localiza en una captura de pantalla mediante anclaje, y después hace clic y escribe. Las acciones de API son más rápidas y fáciles de verificar, así que los agentes las prefieren siempre que están disponibles y recurren a la pantalla para el software heredado. La visión se convierte en una acción de API más: un modelo YOLO26 implementado en un endpoint dedicado de Ultralytics Platform responde a una única solicitud POST que incluye un archivo de imagen o una URL y devuelve en formato JSON los resultados de detección de objetos, el mismo tipo de salida estructurada que el modelo recibe de cualquier otra herramienta.

LAM y términos relacionados#

• LLM: Modelo entrenado para generar texto. Un LAM suele ser un LLM al que se ha entrenado aún más para que genere acciones ejecutables. La distinción se difumina a medida que los modelos generales incorporan llamadas a funciones y uso del ordenador.
• Agente de IA: El sistema completo de modelo, entorno de ejecución, herramientas, memoria y permisos, a menudo creado como un flujo de trabajo agéntico. El LAM es el modelo que decide cada acción dentro del sistema.
• RAG agéntico: Utiliza llamadas a herramientas para buscar y recopilar información antes de responder a una pregunta. Las acciones de un LAM cambian el estado de un sistema, por ejemplo, al enviar un correo electrónico, editar un documento o presentar un formulario.
• Modelos de visión, lenguaje y acción (VLA): La contraparte en robótica dentro de la IA incorporada, que transforma imágenes de cámaras e instrucciones en comandos motores, como Gemini Robotics. RT-2 de Google DeepMind, publicado en julio de 2023, demostró este enfoque al ajustar un modelo de visión y lenguaje para generar acciones robóticas como tokens de texto.