Large Action Models (LAM)

Большая модель действий (LAM) — это модель ИИ, обученная преобразовывать запрос в последовательность действий, которые может выполнить программа, например вызовы API, щелчки и нажатия клавиш, вместо текстового ответа. Большинство LAM начинают с большой языковой модели (LLM) и дообучают её на записанных траекториях задач, пока она не научится надёжно выбирать следующее действие, заполнять его аргументы и восстанавливаться после сбоев. Так LAM становится ядром принятия решений ИИ-агента. Стартап Rabbit популяризировал этот термин в январе 2024 года: генеральный директор Джесси Лю представил портативное устройство R1 и описал его LAM как модель, которая научилась пользоваться приложениями, наблюдая за людьми. Сейчас исследовательские группы используют это название для моделей, обученных выполнять действия и тестируемых на соответствующих бенчмарках. Самый известный пример — семейство xLAM от Salesforce: пять моделей с числом параметров от 1 миллиарда до 8x22B, использующих смесь экспертов (MoE). В статье за сентябрь 2024 года Salesforce сообщила, что семейство заняло первое место в Berkeley Function Calling Leaderboard, опередив GPT-4 и Claude 3.

Как обучают большие модели действий#

В статье Microsoft «Большие модели действий: от замысла до реализации», опубликованной в декабре 2024 года, описан весь процесс обучения модели для работы с Microsoft Word. Взяв за основу Mistral-7B, команда обучала модель в четыре этапа: предварительное обучение планированию задач, то есть разбиению запросов на шаги; обучение на траекториях действий эксперта, записанных с помощью GPT-4o; исследовательское самоусиление, при котором модель пыталась выполнить задачи, не удавшиеся эксперту, и сохраняла собственные успешные попытки как новые обучающие данные; затем обучение с подкреплением с использованием обученной модели вознаграждения. Завершённая модель работала в UFO — агенте Microsoft для графического интерфейса Windows — и выполняла 71,0% реальных задач в Word в среднем за 30,42 секунды. GPT-4o, получив такое же текстовое описание элементов управления окна, справлялась с 63,0% задач за 86,42 секунды и достигала более высокого результата только при наличии снимков экрана: 96,48 секунды на задачу.

Во время выполнения LAM повторяет один цикл, пока задача не будет завершена: читает запрос и текущее состояние, выбирает действие, поручает его выполнение управляющей среде и наблюдает за результатом.

Действия через API и интерфейсы#

Если приложение предоставляет API, модель выдаёт вызовы функций: именованные операции с аргументами, соответствующими схеме JSON, которые управляющая среда агента проверяет и выполняет. Если у программы есть только графический интерфейс, модель работает как агент для взаимодействия с компьютером: выбирает элемент управления в дереве доступности или находит его на снимке экрана с помощью привязки к объектам, затем щёлкает и вводит текст. Действия через API быстрее и проще проверять, поэтому агенты предпочитают их, когда это возможно, и переходят к экрану для устаревших программ. Компьютерное зрение становится ещё одним действием через API: модель YOLO26, развёрнутая на выделенной конечной точке Ultralytics Platform, отвечает на один POST-запрос с файлом изображения или URL и возвращает результаты обнаружения объектов в формате JSON — такой же структурированный вывод, который модель получает от любого другого инструмента.

LAM и смежные термины#

• LLM: Модель, обученная генерировать текст. Обычно LAM — это LLM, дополнительно обученная выдавать исполняемые действия. Различие между ними становится размытым по мере того, как универсальные модели осваивают вызовы функций и взаимодействие с компьютером.
• ИИ-агент: Полная система, включающая модель, управляющую среду, инструменты, память и разрешения, часто реализованная как агентный рабочий процесс. LAM — это модель внутри системы, которая выбирает каждое действие.
• Агентный RAG: Использует вызовы инструментов для поиска и сбора информации перед ответом на вопрос. Действия LAM изменяют состояние системы, например отправляют электронное письмо, редактируют документ или заполняют форму.
• Модели «зрение — язык — действие» (VLA): Робототехнический аналог в сфере воплощённого AI, преобразующий изображения с камер и инструкции в команды управления моторами, например Gemini Robotics. RT-2 от Google DeepMind, выпущенная в июле 2023 года, продемонстрировала этот подход, дообучив модель компьютерного зрения и языка выдавать действия робота в виде текстовых токенов.