MetaのLlama 3を知る

2024年第1四半期の人工知能（AI）イノベーションを振り返ったとき、さまざまな組織がLLM（大規模言語モデル）を次々とリリースしていることがわかりました。この流れを受け、Metaは2024年4月18日に次世代の最先端オープンソースLLMであるLlama 3をリリースしました。

「また別のLLMにすぎないのでは？なぜAIコミュニティはこれほど期待しているのだろう？」と思うかもしれません。

GPT-3やGeminiのようなモデルをファインチューニングしてカスタマイズした応答を生成することはできますが、トレーニングデータ、モデルパラメーター、アルゴリズムなど、内部の仕組みについて完全な透明性はありません。一方、MetaのLlama 3は、アーキテクチャと重みをダウンロードできるため、より透明性が高くなっています。AIコミュニティにとって、これはより自由に実験できることを意味します。

この記事では、Llama 3でできること、どのように開発されたのか、そしてAI分野に与える影響について説明します。さっそく見ていきましょう。

MetaのLlamaモデルの進化#

Llama 3の説明に入る前に、初期バージョンを振り返ってみましょう。

Metaは2023年2月にLlama 1をリリースしました。Llama 1には、パラメーター数が70億から650億までの4つのバリアントがありました。機械学習では、「パラメーター」とはトレーニングデータから学習されるモデルの要素を指します。パラメーター数が少ないため、Llama 1は微妙なニュアンスの理解に苦労し、応答に一貫性がないことがありました。

Llama 1の直後、Metaは2023年7月にLlama 2をリリースしました。Llama 2は2兆トークンでトレーニングされました。トークンは、単語や単語の一部など、モデルが処理するデータの基本単位として使用されるテキストの一部分を表します。このモデルには、より長い文章を理解するためにコンテキストウィンドウを4096トークンへ倍増する機能や、エラーを減らすための100万件を超える人手によるアノテーションなどの改善も施されました。こうした改善にもかかわらず、Llama 2には依然として大量の計算能力が必要であり、MetaはLlama 3でこの問題を解決しようとしました。

MetaのLlama 3の紹介#

Llama 3には、驚異的な1.5兆トークンでトレーニングされた4つのバリアントがあります。そのトレーニングデータの5%以上（約8億トークン）は、30の異なる言語のデータで構成されています。Llama 3のすべてのバリアントは、さまざまな種類のコンシューマー向けハードウェアで実行でき、コンテキスト長は8kトークンです。

図1. Llama 3とLlama 2の比較。

モデルバリアントには8Bと70Bの2つのサイズがあり、それぞれ80億と700億のパラメーターを示します。また、baseとinstructの2つのバージョンがあります。「Base」は標準的な事前トレーニング済みバージョンを指します。「Instruct」は、関連データを使った追加トレーニングによって、特定のアプリケーションや分野に最適化されたファインチューニング済みバージョンです。

Llama 3のモデルバリアントは次のとおりです。

• Meta-Llama-3-8b：base 8Bモデルは基本的なAI機能を提供し、カスタマーサービス用チャットボットの開発など、一般的なタスクに適しています。
• Meta-Llama-3-8b-instruct：8Bモデルをファインチューニングしたinstructバージョンで、特定のタスクに最適化されています。たとえば、複雑な विषयを説明する教育ツールの作成に使用できます。
• Meta-Llama-3-70b：base 70Bモデルは、高性能AIアプリケーション向けに設計されています。このモデルは、創薬のために広範な生物医学文献を処理するようなアプリケーションに適しています。
• Meta-Llama-3-70b-instruct：70Bモデルをファインチューニングしたこのバージョンは、正確性が重要な法律文書や医療文書の分析など、非常に高い精度が求められるアプリケーション向けです。

MetaのLlama 3モデルアーキテクチャ#

他のMeta AIの進歩と同様に、Llama 3の開発では、データの完全性を維持し、バイアスを最小限に抑えるため、厳格な品質管理対策が導入されました。その結果、責任を持って開発された強力なモデルが完成しました。

Llama 3のモデルアーキテクチャは、自然言語処理タスクにおける効率性と性能を重視している点が特徴です。Transformerベースのフレームワーク上に構築され、特にテキスト生成時の計算効率を高めるため、デコーダーのみのアーキテクチャを採用しています。

このモデルは、入力をエンコードするエンコーダーを使わず、先行するコンテキストだけに基づいて出力を生成するため、はるかに高速です。

図2. Llama 3の責任あるモデルアーキテクチャ。

Llama 3モデルは、128Kトークンの語彙を持つトークナイザーを備えています。語彙が豊富になるほど、モデルはテキストをより適切に理解し、処理できます。また、モデルは推論効率を高めるため、Grouped Query Attention（GQA）も使用するようになりました。GQAは、入力データの関連部分にモデルが集中できるようにするスポットライトのような技術で、より高速かつ正確な応答の生成に役立ちます。

Llama 3のモデルアーキテクチャに関する、さらに興味深い詳細をいくつか紹介します。

• ドキュメント境界を考慮した処理：Llama 3はドキュメントの境界をまたいでも明確さを維持します。これは要約などのタスクで重要です。
• コード理解の向上：Llama 3のトレーニングデータには、4倍以上のコードサンプルが含まれており、コーディング能力が向上しています。
• 堅牢な品質管理：ヒューリスティックフィルターやNSFWコンテンツの除去など、厳格な対策によりデータの完全性を確保し、バイアスを最小限に抑えています。

Llama 3がモデルのトレーニング方法を変革#

最大規模のLlama 3モデルをトレーニングするため、データ並列化、モデル並列化、パイプライン並列化という3種類の並列化を組み合わせました。

データ並列化では複数のGPUにトレーニングデータを分散し、モデル並列化では各GPUの計算能力を活用するためにモデルアーキテクチャを分割します。パイプライン並列化ではトレーニングプロセスを順次実行される段階に分割し、計算と通信を最適化します。

最も効率的な実装では、16,000基のGPUで同時にトレーニングした際、GPUあたり400 TFLOPSを超える優れた計算資源利用率を達成しました。これらのトレーニングは、それぞれ24,000基のGPUで構成された2つの専用GPUクラスターで実施されました。この大規模な計算インフラストラクチャにより、大規模なLlama 3モデルを効率的にトレーニングするために必要な計算能力が提供されました。

GPUの稼働時間を最大化するため、エラーの検出、処理、メンテナンスを自動化する高度な新しいトレーニングスタックが開発されました。サイレントデータ破損のリスクを軽減するため、ハードウェアの信頼性と検出メカニズムが大幅に改善されました。また、チェックポイント作成とロールバックのオーバーヘッドを削減するため、新しいスケーラブルなストレージシステムも開発されました。

これらの改善により、全体のトレーニング時間における有効性は95%を超えました。これらを組み合わせることで、Llama 2と比較してLlama 3のトレーニング効率は約3倍に向上しました。この効率性は単に驚異的なだけではなく、AIトレーニング手法に新たな可能性をもたらしています。

Llama 3が切り開く新たな可能性#

Llama 3はオープンソースであるため、研究者や学生はコードを調査し、実験を行い、倫理的な懸念やバイアスについて議論できます。ただし、Llama 3は学術関係者だけを対象としたものではありません。実用的なアプリケーションにも大きな影響を与えています。Llama 3はMeta AIチャットインターフェースの基盤となり、Facebook、Instagram、WhatsApp、Messengerなどのプラットフォームにシームレスに統合されています。Meta AIを使うことで、ユーザーは自然言語で会話し、パーソナライズされたレコメンデーションにアクセスし、タスクを実行し、他のユーザーと簡単につながることができます。

図3. Meta AI：Llama 3を搭載。

Llama 3と他のLLMの比較#

Llama 3は、複雑な言語理解能力と推論能力を評価する複数の主要ベンチマークで非常に優れた性能を発揮します。Llama 3のさまざまな能力を検証するベンチマークの一部を紹介します。

• Massive Multitask Language Understanding（MMLU）：さまざまな分野にわたる知識を測定します。
• General Purpose Question Answering（GPQA）：幅広い一般知識の質問に対して、一貫性があり正確な回答を生成するモデルの能力を評価します。
• HumanEval：コーディングと問題解決のタスクに焦点を当て、機能するプログラミングコードを生成し、アルゴリズム上の課題を解決するモデルの能力を検証します。

これらのテストにおけるLlama 3の優れた結果は、GoogleのGemma 7B、MistralのMistral 7B、AnthropicのClaude 3 Sonnetなどの競合モデルとの差を明確に示しています。公開された統計によると、特に70BモデルのLlama 3は、上記のすべてのベンチマークでこれらのモデルを上回っています。

図4. Llama 3と他のLLMの比較。

Meta Llama 3を幅広く利用可能に#

Metaは、一般ユーザーと開発者の双方がさまざまなプラットフォームで利用できるようにすることで、Llama 3の提供範囲を拡大しています。一般ユーザー向けには、Llama 3がWhatsApp、Instagram、Facebook、Messengerなど、Metaの人気プラットフォームに統合されています。ユーザーは、リアルタイム検索やクリエイティブコンテンツの生成などの高度な機能に、これらのアプリ内から直接アクセスできます。

Llama 3は、インタラクティブな体験を実現するため、Ray-Ban MetaスマートグラスやMeta Quest VRヘッドセットなどのウェアラブルテクノロジーにも組み込まれています。

Llama 3は、AWS、Databricks、Google Cloud、Hugging Face、Kaggle、IBM WatsonX、Microsoft Azure、NVIDIA NIM、Snowflakeなど、開発者向けのさまざまなプラットフォームで利用できます。Metaからこれらのモデルに直接アクセスすることもできます。選択肢が豊富なため、Metaと直接連携する場合でも、他の人気プラットフォームを利用する場合でも、開発者はこれらの高度なAIモデル機能をプロジェクトに簡単に統合できます。

まとめ#

機械学習の進歩は、私たちが日々テクノロジーと関わる方法を変え続けています。MetaのLlama 3は、LLMがもはやテキスト生成だけのものではないことを示しています。LLMは複雑な問題に取り組み、複数の言語を処理しています。全体として、Llama 3はAIをこれまで以上に柔軟で利用しやすいものにしています。今後予定されているLlama 3のアップグレードにより、複数のモデルの処理や、より広いコンテキストの理解など、さらに多くの機能が実現する見込みです。

AIについてさらに詳しく知るには、GitHubリポジトリを確認し、コミュニティに参加してください。AIが製造業や農業などの分野でどのように活用されているかについては、ソリューションページをご覧ください。