Large Action Models (LAM)

대규모 액션 모델(LAM)은 요청을 API 호출, 클릭, 키 입력처럼 소프트웨어가 실행할 수 있는 액션 시퀀스로 변환하도록 학습된 AI 모델이며, 텍스트 답변을 생성하는 대신 액션을 출력합니다. 대부분의 LAM은 대규모 언어 모델(LLM)에서 시작해 기록된 작업 궤적으로 파인튜닝되며, 다음 액션을 안정적으로 선택하고 인수를 입력하며 단계가 실패했을 때 복구하도록 학습됩니다. 따라서 LAM은 AI 에이전트의 의사 결정 핵심 역할을 합니다. 스타트업 Rabbit은 CEO Jesse Lyu가 2024년 1월 R1 핸드헬드를 공개하면서 이 용어를 대중화했으며, LAM을 사람들이 앱을 사용하는 모습을 보고 앱 조작법을 학습한 모델로 소개했습니다. 현재 연구 그룹에서는 액션 실행에 관해 학습하고 벤치마크된 모델을 가리키는 말로 이 용어를 사용합니다. 대표적인 사례는 Salesforce의 xLAM 제품군으로, 10억 개 매개변수 모델부터 8x22B 전문가 혼합(MoE) 모델까지 5개 모델로 구성됩니다. 2024년 9월 논문에서는 이 제품군이 Berkeley Function Calling Leaderboard에서 GPT-4와 Claude 3를 제치고 1위를 기록했다고 보고했습니다.

대규모 액션 모델의 학습 방법#

2024년 12월 발표된 Microsoft 논문 Large Action Models: From Inception to Implementation은 Microsoft Word를 조작하는 모델의 전체 개발 과정을 기록합니다. Mistral-7B에서 시작한 팀은 네 단계로 모델을 학습했습니다. 요청을 단계별로 분해하는 방법을 학습하는 작업 계획 사전 학습, GPT-4o로 기록한 전문가 궤적을 통한 학습, 모델이 전문가가 실패한 작업을 시도하고 성공적인 실행을 새 학습 데이터로 보관하는 자기 강화 탐색, 그리고 학습된 보상 모델을 기준으로 한 강화 학습입니다. Microsoft의 Windows GUI 에이전트 UFO에서 실행된 완성 모델은 실제 Word 작업의 71.0%를 평균 30.42초 만에 완료했습니다. 동일한 창 제어 항목의 텍스트 설명만 제공한 GPT-4o는 63.0%를 완료하는 데 86.42초가 걸렸으며, 스크린샷을 추가했을 때만 더 높은 성공률을 보였고 작업당 96.48초가 걸렸습니다.

실행 시 LAM은 작업이 끝날 때까지 다음 주기를 반복합니다. 요청과 현재 상태를 읽고, 액션을 선택하고, 하네스가 이를 실행하도록 한 뒤, 결과를 관찰합니다.

API 및 인터페이스를 통한 액션#

애플리케이션에서 API를 제공하면 모델은 함수 호출을 출력합니다. 즉, JSON 스키마에 맞는 인수를 포함한 명명된 연산을 출력하고, 에이전트 하네스가 이를 검증하고 실행합니다. 소프트웨어가 그래픽 인터페이스만 제공하면 모델은 컴퓨터 사용 에이전트처럼 동작합니다. 접근성 트리에서 제어 항목을 선택하거나 그라운딩을 통해 스크린샷에서 해당 항목을 찾은 다음 클릭하고 입력합니다. API 액션은 더 빠르고 검증하기 쉬우므로 에이전트는 가능한 경우 이를 선호하며, 레거시 소프트웨어에서는 화면 조작으로 전환합니다. 비전도 또 하나의 API 액션이 됩니다. Ultralytics Platform 전용 엔드포인트에 배포된 YOLO26 모델은 이미지 파일이나 URL을 담은 단일 POST 요청에 대해 객체 검출 결과를 JSON으로 반환합니다. 이는 모델이 다른 도구의 결과를 읽을 때와 같은 구조화된 출력입니다.

LAM과 관련 용어 비교#

• LLM: 텍스트 생성을 위해 학습된 모델입니다. LAM은 일반적으로 실행 가능한 액션을 출력하도록 추가 학습된 LLM이며, 범용 모델에 함수 호출과 컴퓨터 사용 기능이 추가되면서 두 용어의 경계가 모호해지고 있습니다.
• AI 에이전트: 모델, 하네스, 도구, 메모리, 권한을 포함하는 전체 시스템이며, 흔히 에이전트형 워크플로로 구성됩니다. LAM은 그 안에서 각 액션을 결정하는 모델입니다.
• 에이전트형 RAG: 질문에 답하기 전에 도구 호출을 사용해 정보를 검색하고 수집합니다. LAM이 수행하는 액션은 이메일 전송, 문서 편집, 양식 제출처럼 시스템의 상태를 바꿉니다.
• 비전-언어-액션(VLA) 모델: 체화된 AI 분야의 로보틱스 대응 개념으로, 카메라 이미지와 지시를 Gemini Robotics 같은 모터 명령으로 변환합니다. 2023년 7월 공개된 Google DeepMind의 RT-2는 비전-언어 모델을 파인튜닝해 로봇 액션을 텍스트 토큰으로 출력하는 방식으로 이 접근법을 보여주었습니다.