Large Action Models (LAM)

大規模アクションモデル（LAM）は、テキストで回答する代わりに、API呼び出し、クリック、キー入力など、ソフトウェアが実行できる一連のアクションへ要求を変換するよう学習されたAIモデルです。ほとんどのLAMは大規模言語モデル（LLM）を基盤とし、記録されたタスクの軌跡でファインチューニングして、次のアクションの選択、引数の入力、ステップ失敗時の復旧を確実に行えるようにします。これにより、LAMはAIエージェントの意思決定の中核を担います。スタートアップのRabbitは2024年1月、CEOのJesse Lyuが携帯型デバイスR1を発表し、人々がアプリを使う様子を見て操作方法を学習するモデルとしてLAMを紹介したことで、この用語を広めました。現在、研究グループはアクションの実行を学習・評価するモデルにこの名称を使っており、特にSalesforceのxLAMファミリーが知られています。これは10億パラメーターから8x22Bのエキスパート混合（MoE）までの5モデルで、2024年9月の論文では、Berkeley Function Calling LeaderboardでGPT-4とClaude 3を上回る首位を報告しました。

大規模アクションモデルの学習方法#

2024年12月に公開されたMicrosoftの論文Large Action Models: From Inception to Implementationは、Microsoft Wordを操作するモデルのプロセス全体を記録しています。Mistral-7Bを出発点として、チームは4つのフェーズで学習しました。要求をステップに分解する方法を学ぶタスク計画の事前学習、GPT-4oで記録したエキスパートの軌跡からの学習、エキスパートが失敗したタスクをモデルが試し、成功した実行を新たな学習データとして保持する自己ブースト探索、そして学習済みの報酬モデルを使った強化学習です。MicrosoftのWindows GUIエージェントUFO内で動作する完成モデルは、実際のWordタスクの71.0%を平均30.42秒で完了しました。同じウィンドウのコントロールを説明するテキストを与えられたGPT-4oは、63.0%を完了するのに86.42秒かかりました。スクリーンショットを追加した場合に限り、より高い成功率を達成しましたが、タスクあたり96.48秒かかりました。

実行時、LAMはタスクが完了するまで、要求と現在の状態を読み取り、アクションを選択し、ハーネスに実行させて結果を観察するというサイクルを繰り返します。

APIとインターフェースを通じたアクション#

アプリケーションがAPIを提供している場合、モデルは関数呼び出しを出力します。これはJSONスキーマに沿った引数を持つ名前付き操作であり、エージェントハーネスが検証して実行します。ソフトウェアがグラフィカルインターフェースしか提供していない場合、モデルはコンピューター操作エージェントのように動作し、アクセシビリティツリーからコントロールを選ぶか、グラウンディングによってスクリーンショット内の位置を特定して、クリックや入力を行います。APIアクションは高速で検証しやすいため、エージェントは利用可能な場合はAPIを優先し、レガシーソフトウェアでは画面操作に切り替えます。ビジョンもAPIアクションの1つになります。Ultralytics Platform専用エンドポイントにデプロイしたYOLO26モデルは、画像ファイルまたはURLを含む単一のPOSTリクエストに対し、物体検出結果をJSONで返します。これは、モデルが他のツールから読み取るものと同種の構造化出力です。

LAMと関連用語の比較#

• LLM: テキスト生成を学習したモデルです。LAMは通常、出力が実行可能なアクションになるよう追加学習を施したLLMです。汎用モデルが関数呼び出しやコンピューター操作に対応するにつれて、両者の境界は曖昧になっています。
• AIエージェント: モデル、ハーネス、ツール、メモリ、権限で構成されるシステム全体で、多くの場合、エージェント型ワークフローとして構築されます。LAMはその内部で各アクションを決定するモデルです。
• エージェント型RAG: ツール呼び出しを使って情報を検索・収集してから質問に回答します。LAMが実行するアクションは、メールの送信、ドキュメントの編集、フォームの提出など、システムの状態を変化させます。
• ビジョン・言語・アクション（VLA）モデル: 身体性AIにおけるロボティクスの対応分野で、カメラ画像と指示をGemini Roboticsなどのモーターコマンドに変換します。Google DeepMindのRT-2は2023年7月に公開され、ビジョン言語モデルをファインチューニングして、ロボットのアクションをテキストトークンとして出力することで、このアプローチを実証しました。