Meta の Llama 3 を知る
Meta の Llama 3 がリリースされ、AIコミュニティから大きな期待が寄せられました。Meta AI の進歩における最新の Llama 3 について詳しく学びましょう。
2024年第1四半期の(AI)イノベーションをまとめた際、LLM（大規模言語モデル）がさまざまな組織から次々とリリースされている状況を確認しました。この傾向は続き、2024年4月18日、Metaは次世代の最先端オープンソースLLMであるLlama 3をリリースしました。
「単なる新しいLLMではないか。なぜAIコミュニティはこれほどまでに熱狂しているのか？」とお考えかもしれません。
GPT-3やGeminiなどのモデルは、カスタマイズされた応答を得るために微調整（ファインチューニング）が可能ですが、トレーニングデータ、モデルパラメータ、アルゴリズムといった内部構造については完全な透明性が提供されていません。対照的に、MetaのLlama 3はアーキテクチャと重みがダウンロード可能となっており、より透明性が高いモデルです。AIコミュニティにとって、これは実験の自由度がより高まることを意味します。
本記事では、Llama 3の機能、その開発背景、そしてAI分野への影響について解説します。それでは早速見ていきましょう。
Link to this sectionMetaのLlamaモデルの進化#
Llama 3の詳細に入る前に、以前のバージョンを振り返ってみましょう。
Metaは2023年2月にLlama 1を立ち上げました。これにはパラメータ数が70億から650億までの4つのバリエーションがありました。機械学習において「パラメータ」とは、トレーニングデータから学習されるモデルの要素を指します。Llama 1はパラメータ数が少なかったため、微妙なニュアンスの理解が難しく、応答に一貫性を欠くことがありました。
Llama 1の直後、Metaは2023年7月にLlama 2をリリースしました。これは2兆トークンでトレーニングされました。トークンとは、モデルの処理における基本的なデータ単位として使用される、単語や単語の一部のようなテキストの断片です。また、このモデルでは、より長い一節を理解するためにコンテキストウィンドウが4096トークンに倍増され、エラーを減らすために100万件以上の人間によるアノテーションが活用されるなどの強化が行われました。これらの改善にもかかわらず、Llama 2は依然として大量の計算リソースを必要としており、MetaはLlama 3でこの課題の解決を目指しました。
Link to this sectionMetaのLlama 3の紹介#
Llama 3には、15兆トークンという膨大なデータでトレーニングされた4つのバリエーションがあります。トレーニングデータの5%以上（約8億トークン）は、30の異なる言語のデータで構成されています。すべてのLlama 3バリエーションは、さまざまな消費者向けハードウェアで実行可能であり、コンテキスト長は8kトークンです。
図1. Llama 3 と Llama 2 の比較。
モデルのバリエーションには、8B（80億パラメータ）と70B（700億パラメータ）の2つのサイズがあります。また、それぞれ「ベース」と「インストラクト（Instruct）」の2つのバージョンがあります。「ベース」は標準的な事前トレーニング済みバージョンを指します。「インストラクト」は、関連データでの追加トレーニングを通じて、特定の用途やドメイン向けに最適化された微調整済みバージョンです。
Llama 3のモデルバリエーションは以下の通りです。
- Meta-Llama-3-8b：8Bのベースモデルは基本的なAI機能を提供し、顧客サービス用チャットボットの開発といった一般的なタスクに最適です。
- Meta-Llama-3-8b-instruct：8Bモデルを特定のタスク向けに最適化した、インストラクト微調整バージョンです。例えば、複雑な主題を説明する教育ツールの作成などに利用できます。
- Meta-Llama-3-70b：70Bのベースモデルは、高性能なAIアプリケーション向けに設計されています。このモデルは、創薬のための膨大な生物医学文献の処理といったアプリケーションに有効です。
- Meta-Llama-3-70b-instruct：70Bモデルを微調整したバージョンで、法務や医療文書の分析など、正確性が不可欠な高度に精密なアプリケーション向けに開発されています。
Link to this sectionMetaのLlama 3モデルアーキテクチャ#
他のMeta AIの進歩と同様に、Llama 3の開発においても、データの整合性を維持しバイアスを最小限に抑えるための厳格な品質管理措置が講じられました。その結果、責任を持って作成された強力なモデルが完成しました。
Llama 3のモデルアーキテクチャは、自然言語処理タスクにおける効率性とパフォーマンスへの注力が特徴です。Transformerベースのフレームワークに基づいて構築されており、デコーダーのみのアーキテクチャを採用することで、特にテキスト生成時の計算効率を最適化しています。
このモデルは、入力をエンコードするエンコーダーを使用せず、先行するコンテキストのみに基づいて出力を生成するため、大幅な高速化を実現しています。
図2. Llama 3 の責任あるモデルアーキテクチャ。
Llama 3モデルは、128Kトークンの語彙を持つトークナイザーを備えています。語彙が豊富であるほど、モデルはテキストをより深く理解・処理できます。また、モデルは推論効率を改善するためにGQA（Grouped Query Attention）を使用しています。GQAは、モデルが入力データの関連部分に焦点を当てるためのスポットライトのような役割を果たし、より高速かつ正確な応答生成を支援する技術です。
Llama 3のモデルアーキテクチャに関するその他の興味深い詳細は以下の通りです。
- 境界を意識した文書処理：Llama 3は文書の境界を明確に維持しており、これは要約などのタスクにおいて重要です。
- コード理解の向上：Llama 3のトレーニングデータには4倍のコードサンプルが含まれており、コーディング能力が強化されています。
- 堅牢な品質管理：ヒューリスティックフィルターやNSFWコンテンツの削除を含む厳格な措置により、データの整合性を確保し、バイアスを最小限に抑えています。
Link to this sectionLlama 3はモデルトレーニングのアプローチを変革しています#
最大のLlama 3モデルをトレーニングするために、データ並列化、モデル並列化、パイプライン並列化という3種類の並列化が組み合わされました。
データ並列化はトレーニングデータを複数のGPUに分割し、モデル並列化はモデルアーキテクチャを分割して各GPUの計算能力を活用します。パイプライン並列化は、トレーニングプロセスを段階的に分割し、計算と通信を最適化します。
最も効率的な実装では、16,000台のGPUを同時に使用してトレーニングを行い、GPUあたり400 TFLOPSを超える驚異的な計算利用率を達成しました。これらのトレーニングは、それぞれ24,000台のGPUで構成される2つのカスタム構築GPUクラスター上で実施されました。この強固な計算インフラが、大規模なLlama 3モデルを効率的にトレーニングするための原動力となりました。
GPUの稼働時間を最大化するために、エラー検出、処理、メンテナンスを自動化する高度な新しいトレーニングスタックが開発されました。ハードウェアの信頼性と検出メカニズムが大幅に向上し、サイレントデータ破損のリスクを軽減しました。また、チェックポインティングとロールバックのオーバーヘッドを削減するために、新しいスケーラブルなストレージシステムも開発されました。
これらの改善により、全体的なトレーニング時間の有効性は95%を超えました。これらを組み合わせることで、Llama 2と比較してLlama 3のトレーニング効率は約3倍向上しました。この効率性は単に素晴らしいだけでなく、AIトレーニング手法に新たな可能性を切り拓いています。
Link to this sectionLlama 3が切り拓く新たな可能性#
Llama 3はオープンソースであるため、研究者や学生はコードを調査し、実験を行い、倫理的な懸念やバイアスについて議論を交わすことができます。しかし、Llama 3は学術分野だけでなく、実用的なアプリケーションでも大きな反響を呼んでいます。Meta AIチャットインターフェースの基盤となっており、Facebook、Instagram、WhatsApp、Messengerなどのプラットフォームにシームレスに統合されています。Meta AIを使用することで、ユーザーは自然言語での会話、パーソナライズされたおすすめの取得、タスクの実行、そして他の人との交流が容易になります。
図3. Meta AI: Llama 3 搭載。
Link to this sectionLlama 3と他のLLMの比較#
Llama 3は、複雑な言語理解と推論能力を評価するいくつかの主要なベンチマークにおいて極めて高いパフォーマンスを発揮します。Llama 3の能力の様々な側面をテストするベンチマークの一部を以下に紹介します。
- MMLU（Massive Multitask Language Understanding） - 様々なドメインにわたる知識を測定します。
- GPQA（General Purpose Question Answering） - 幅広い一般常識の質問に対して、一貫性があり正確な回答を生成するモデルの能力を評価します。
- HumanEval - コーディングと問題解決のタスクに重点を置き、機能するプログラミングコードを生成し、アルゴリズムの課題を解決するモデルの能力をテストします。
これらのテストにおけるLlama 3の優れた結果は、GoogleのGemma 7B、MistralのMistral 7B、AnthropicのClaude 3 Sonnetといった競合他社のモデルと一線を画しています。公開されている統計によると、特に70Bモデルは、上記のすべてのベンチマークにおいてこれらのモデルを上回っています。
図4 Llama 3と他のLLMの比較。
Link to this sectionMeta Llama 3は広く利用可能になっています#
Metaは、一般ユーザーと開発者の両方に向けて、さまざまなプラットフォームでLlama 3を利用可能にすることで、そのリーチを拡大しています。一般ユーザー向けには、WhatsApp、Instagram、Facebook、MessengerといったMetaの人気のプラットフォームにLlama 3が統合されています。ユーザーは、これらのアプリ内でリアルタイム検索やコンテンツ生成といった高度な機能にアクセスできます。
また、Llama 3は、Ray-Ban MetaスマートグラスやMeta Quest VRヘッドセットなどのウェアラブル技術にも組み込まれており、対話的な体験を提供しています。
Llama 3は、AWS、Databricks、Google Cloud、Hugging Face、Kaggle、IBM WatsonX、Microsoft Azure、NVIDIA NIM、Snowflakeなど、開発者向けの多様なプラットフォームで利用可能です。また、Metaから直接モデルにアクセスすることもできます。これらの幅広い選択肢により、開発者はMetaと直接連携する場合でも、他の主要なプラットフォームを通じて連携する場合でも、高度なAIモデルの機能を自身のプロジェクトに容易に組み込むことができます。
Link to this sectionまとめ#
機械学習の進歩は、私たちが日々の技術と関わる方法を変え続けています。MetaのLlama 3は、LLMが単なるテキスト生成にとどまらないことを示しています。LLMは複雑な問題に取り組み、複数の言語を処理しています。総じて、Llama 3はAIをこれまで以上に適応しやすく、利用しやすいものにしています。今後、Llama 3のアップグレードでは、複数モデルの処理やより広いコンテキストの理解など、さらなる機能が期待されています。
AIの詳細については、私たちのGitHubリポジトリをチェックし、コミュニティにご参加ください。製造や農業といった分野でどのようにAIが活用されているか、私たちのソリューションページもぜひご覧ください。
