Meta FAIRのAI研究に関する最新情報：SAM 2.1とCoTracker3

人工知能（AI）の研究は急速に進んでおり、これまで以上の速さで新たなブレークスルーが生まれています。ここ数週間で、Metaの基礎AI研究（FAIR）チームは、AIのさまざまな分野の課題に取り組むためのツールとモデルの一式を発表しました。今回のリリースには、医療、ロボティクス、拡張現実など、多岐にわたる分野に影響を与える可能性のある更新が含まれています。

たとえば、更新されたSAM 2.1モデルは物体セグメンテーションを改善し、画像や動画内の物体を正確に識別して分離しやすくします。一方、CoTracker3はポイントトラッキングに重点を置き、物体が移動したり一部が遮られたりしても、動画フレーム内のポイントを追跡できるようにします。

Metaは、デバイス上で効率的に使えるよう、より軽量で高速なLlama言語モデルのバージョンも発表するとともに、ロボティクス向けの新しい触覚センシング技術を公開しました。この記事では、Meta FAIRの最新リリースを取り上げ、それぞれのツールが提供する機能を説明します。

Metaの強化版Segment Anything Model：SAM 2.1#

重要なコンピュータービジョンタスクである物体セグメンテーションを使うと、画像や動画の中にある個々の物体を識別して分離できるため、関心のある特定領域を分析しやすくなります。公開以来、MetaのSegment Anything Model 2 (SAM 2)は、医療画像や気象学など、さまざまな分野で物体セグメンテーションに利用されてきました。コミュニティからのフィードバックを踏まえ、Metaは今回、元のモデルで直面した課題の一部に対処し、全体的な性能を高めることを目指した改良版のSAM 2.1を発表しました。

図1. SAM 2.1モデルの性能ベンチマーク。

SAM 2.1には、視覚的に類似した物体や小さな物体をより適切に扱うための更新が含まれており、新しいデータ拡張手法が活用されています。また、より長い動画シーケンスで学習することで、遮蔽（物体の一部が見えなくなる状態）への対応も改善されています。これにより、物体が一時的に隠れても、その物体を時間経過に沿って「記憶」し、認識できます。たとえば、木の後ろを歩く人を撮影した動画では、SAM 2.1は追跡中の人物が反対側に再び現れたときに、その人物を認識できます。視界が一時的に遮られた際には、物体の位置と動きの記憶を使って、見えない部分を補います。

これらの更新に加えて、MetaはSAM 2 Developer Suiteをリリースしました。オープンソースのトレーニングコードとデモ用の完全なインフラストラクチャが提供されるため、開発者は独自のデータでSAM 2.1をファインチューニングし、さまざまなアプリケーションに統合できます。

CoTracker3：Metaのトラッキングモデル、その機能とアップデート#

もう1つの興味深いコンピュータービジョンタスクに、ポイントのトラッキングがあります。動画の複数のフレームにわたって、特定のポイントや特徴を追跡するタスクです。コースを走る自転車選手の動画を考えてみましょう。ポイントトラッキングを使うと、ヘルメットや車輪など選手上のポイントを、障害物で一時的に隠れてもモデルが追跡できます。

ポイントトラッキングは、3D再構築、ロボティクス、動画編集などのアプリケーションに不可欠です。従来のモデルは複雑なセットアップと大規模な合成データセットに依存することが多く、実環境のシナリオに適用した際の有効性が制限されます。

MetaのCoTracker3トラッキングモデルは、モデルのアーキテクチャを簡素化することで、こうした制約に対処しています。また、擬似ラベル付けの手法も導入しており、モデルはアノテーションのない実動画から学習できます。その結果、CoTracker3は実用環境でより効率的かつスケーラブルに利用できます。

図2. CoTracker3と他のトラッキングモデルの比較。

CoTracker3の際立った特徴の1つは、遮蔽に適切に対応できることです。複数の追跡対象ポイント間で情報を共有する手法であるクロストラックアテンションを利用し、CoTracker3は見えているポイントを参照して、隠れているポイントの位置を推定できます。そのため、CoTracker3は、混雑した場所で人物を追跡するような動的な環境でも高い効果を発揮できるように設計されています。

CoTracker3はオンラインモードとオフラインモードの両方を備えています。オンラインモードではリアルタイムトラッキングが可能です。一方、オフラインモードは動画シーケンス全体を対象に、より包括的なトラッキングを実行できるため、動画編集やアニメーションなどのタスクに適しています。

Meta FAIRによるその他のアップデートと研究#

SAM 2.1とCoTracker3はMetaのコンピュータービジョン分野における最新の進歩を示していますが、自然言語処理 (NLP)やロボティクスなど、AIのほかの分野でも注目すべき更新があります。Meta FAIRによる最近のその他の開発をいくつか見ていきましょう。

MetaのSpirit LM：言語モデルとマルチモーダルモデルにおけるAIイノベーション#

MetaのSpirit LMは、テキストと音声の機能を組み合わせた新しいマルチモーダル言語モデルで、AIとのやり取りをより自然に感じられるようにします。テキストのみ、または音声のみを扱う従来のモデルとは異なり、Spirit LMは両者を切り替えられます。

Spirit LMは、より人間らしく感じられる方法で言語を理解し、生成できます。たとえば、音声またはテキストで聞き取りと応答の両方ができるバーチャルアシスタントを強化したり、音声とテキストを相互に変換するアクセシビリティツールを支援したりできます。

図3. Meta Spirit LMを使ったテキスト読み上げの例。

さらにMetaは、大規模言語モデルをより効率的にする技術を開発しました。その1つであるLayer Skipは、特定のタスクに必要なレイヤーだけを有効にすることで、計算需要とエネルギーコストを抑えます。メモリや電力に制約のあるデバイス向けのアプリケーションで、特に役立ちます。

こうしたデバイスへのAIアプリケーションのデプロイをさらに進めるため、Metaは量子化したLlamaモデルも公開しました。これらのモデルは、精度を損なわずにモバイルデバイス上でより高速に実行できるよう圧縮されています。

Meta Linguaで見る最適化の未来#

AIモデルの規模と複雑さが増すなか、トレーニングプロセスの最適化が重要になっています。最適化に関してMetaは、大規模言語モデルのトレーニングを容易にする、柔軟で効率的なコードベースのMeta Linguaを発表しました。Meta Linguaのモジュール式設計により、研究者は実験をすばやくカスタマイズし、規模を拡大できます。

研究者は技術的なセットアップにかける時間を減らし、実際の研究により多くの時間を割けます。このコードベースは軽量で統合も容易なため、小規模な実験にも大規模なプロジェクトにも適しています。こうした技術的な障壁を取り除くことで、Meta Linguaは研究者の進展を加速し、新しいアイデアをより容易に検証できるようにします。

図4. Meta Linguaの概要。

MetaによるAIセキュリティの強化#

量子コンピューティング技術の進歩に伴い、データセキュリティに新たな課題が生じています。現在のコンピューターとは異なり、量子コンピューターは複雑な計算をはるかに高速に解ける可能性があります。そのため、機密情報の保護に現在使われている暗号方式が破られる恐れがあります。量子コンピューティングの未来に備えるうえで、データを保護する新たな方法の開発が不可欠であり、この分野の研究がますます重要になっています。

この課題に対処するため、Metaは耐量子暗号のセキュリティ強化を目的としたツール、Salsaを開発しました。Salsaを使うと、研究者はAIを活用した攻撃をテストし、潜在的な弱点を特定できます。これにより、暗号システムの脆弱性をより深く理解し、対処できます。高度な攻撃シナリオをシミュレーションすることで、Salsaは量子時代に向けた、より強固で回復力の高いセキュリティ対策の開発に役立つ知見を提供します。

MetaのAI：ロボティクスにおける最新のイノベーション#

Metaのロボティクス分野における最新の取り組みは、触覚認識、器用さ、人間との協働を向上させ、AIが物理世界とより自然に関わることを目指しています。特にMeta Digit 360は、ロボットに精緻な触覚を与える高度な触覚センサーです。このセンサーにより、ロボットは質感、圧力、さらには物体の形状などの詳細を検知できます。こうした情報をもとに、ロボットは物体をより正確に扱えるため、医療や製造などの分野で重要な役割を果たします。

Meta Digit 360の主な機能をいくつか紹介します。

• 幅広い触覚の詳細を捉えるため、18種類の独立したセンシング機能を備えています。
• このセンサーは1ミリニュートンというわずかな圧力変化も検知できるため、ロボットは細かな質感や微妙な動きに反応できます。
• 指先の表面全体に800万個を超えるタクセル（微小なセンシング点）が配置されており、触覚情報を高解像度でマッピングできます。

Meta Digit 360を拡張したMeta Digit Plexusは、さまざまな触覚センサーを単一のロボットハンドに統合するプラットフォームです。この構成により、ロボットは人間の手が感覚情報を集めるのと同様に、複数の点からの触覚情報を一度に処理できます。

図5. Meta Digit Plexus。

AIの次章に向けて#

SAM 2.1とCoTracker3によるコンピュータービジョンの進歩から、言語モデルやロボティクスの新たな開発まで、Metaの最新AIアップデートは、AIが理論から実用的で大きな効果をもたらすソリューションへ着実に移行していることを示しています。

これらのツールは、AIをさまざまな分野でより適応しやすく、役立つものにするよう設計されています。複雑な画像のセグメンテーションから人間の言語の理解、さらには物理空間で人間と協働することまで、幅広い用途を支援します。

アクセシビリティと実社会での活用を優先することで、Meta FAIRは、AIが現実世界の課題に取り組み、私たちの日常生活を有意義な形で向上させる未来に近づけています。

AIに関心がありますか？最新情報や知見を得るにはコミュニティに参加し、GitHubリポジトリもご覧ください。また、自動運転車や農業などの業界でコンピュータービジョンをどのように活用できるかもご覧いただけます。