Mask R-CNNとは何か、そしてその仕組みは？

AIの導入が進むにつれて、倉庫内のロボット、混雑した通りを安全に移動する自動運転車、農作物を点検するドローン、工場で製品を検査するAIシステムなどのイノベーションが一般的になりつつあります。こうしたイノベーションを推進する主要なテクノロジーがcomputer visionであり、機械が視覚データを理解して解釈できるようにするAIの分野です。

例えば、物体検出は、バウンディングボックスを使用して画像内の物体を識別および特定するコンピュータビジョンのタスクです。バウンディングボックスは有用な情報を提供しますが、物体の位置を大まかに推定するだけで、その正確な形状や境界を捉えることはできません。このため、精密な識別を必要とするアプリケーションでは効果が低くなります。

この問題を解決するために、研究者は物体の正確な輪郭を捉え、ピクセルレベルの詳細情報を提供することで、より正確な検出と分析を可能にするセグメンテーションモデルを開発しました。

Mask R-CNNはそのようなモデルの1つです。2017年にFacebook AI Research（FAIR）によって発表され、R-CNN、Fast R-CNN、Faster R-CNNといった以前のモデルを基盤として構築されています。computer visionの歴史における重要なマイルストーンとして、Mask R-CNNはUltralytics YOLO11のような、より高度なモデルへの道を切り開いてきました。

この記事では、Mask R-CNNとは何か、その仕組み、応用例、そしてその後にもたらされた改良点について解説し、Ultralytics YOLO11へとつながる進化を探ります。

Mask R-CNNの概要#

Mask R-CNNはMask Region-based Convolutional Neural Networkの略であり、オブジェクト検出やインスタンスセグメンテーションなどのcomputer vision tasks向けに設計されたディープラーニングモデルです。

インスタンスセグメンテーションは、従来の物体検出の枠を超え、画像内の物体を識別するだけでなく、それぞれの輪郭を正確に描き出します。検出されたすべての物体に固有のラベルを割り当て、ピクセルレベルでその正確な形状を捉えます。この詳細なアプローチにより、重なり合った物体を明確に区別し、複雑な形状を正確に処理することが可能になります。

Mask R-CNNはFaster R-CNNを基盤としていますが、Faster R-CNNは物体を検出してラベル付けはするものの、その正確な形状までは定義しません。Mask R-CNNはこれを改良し、各物体を構成する正確なピクセルを特定することで、より詳細で正確な画像分析を可能にしました。

Fig 1. オブジェクト検出とインスタンスセグメンテーションの比較。

Mask R-CNNのアーキテクチャと機能の仕組み#

Mask R-CNNは、物体を正確に検出・セグメント化するために段階的なアプローチをとります。まず、ディープニューラルネットワーク（データから学習する多層モデル）を使用して主要な特徴を抽出し、次にリージョンプロポーザルネットワーク（可能性の高い物体領域を提案するコンポーネント）で潜在的な物体の領域を特定します。最後に、セグメンテーションマスク（物体の正確な輪郭）を作成してこれらの領域を調整し、各物体の正確な形状を捉えます。

次に、Mask R-CNNがどのように機能するのか、各ステップを詳しく見ていきます。

図2. Mask R-CNNのアーキテクチャ概要（出典: researchgate.net）。

特徴抽出から始める#

Mask R-CNNのアーキテクチャの最初のステップは、モデルが画像の内容を理解できるように、画像を主要なパーツに分解することです。人間が写真を見たときに、形、色、エッジといった詳細を自然に認識するようなものだと考えてください。モデルは「バックボーン」（多くの場合ResNet-50やResNet-101）と呼ばれるディープニューラルネットワークを使用して、これと同様の処理を行います。このバックボーンは目のような役割を果たし、画像をスキャンして重要な詳細を拾い上げます。

画像内の物体は非常に小さいこともあれば非常に大きいこともあるため、Mask R-CNNはFeature Pyramid Networkを使用します。これは、モデルが細かい詳細と全体像の両方を見られるようにする拡大鏡のような役割を果たし、あらゆるサイズの物体を見逃さないようにします。

これらの重要なfeatures are extractedされると、モデルは画像内の潜在的なオブジェクトの位置特定へと移行し、さらなる分析の舞台を整えます。

画像内の物体が存在する可能性のある領域の提案#

画像の特徴が処理された後、リージョンプロポーザルネットワークが引き継ぎます。モデルのこの部分は、画像を見て、物体が含まれている可能性が高い領域を提案します。

これは、anchorsと呼ばれる複数の可能なオブジェクト位置を生成することによって行われます。次に、ネットワークはこれらのアンカーを評価し、さらなる分析に向けて最も有望なものを選択します。このようにして、モデルは画像内のすべてのスポットをチェックするのではなく、関心がありそうな領域だけに集中します。

Fig 3. Region Proposal Networkの例。

抽出された特徴の強化#

主要な領域が特定されたら、次のステップはこれらの領域から抽出された詳細を洗練させることです。以前のモデルではROI Pooling (Region of Interest Pooling) と呼ばれる手法を使用して各領域から特徴を取得していましたが、この手法では領域をリサイズする際にわずかな位置ずれが生じることがあり、特に小さな物体や重なり合った物体に対しては効果が低下していました。

Mask R-CNNは、ROI Align (Region of Interest Align) と呼ばれる手法を使用することでこれを改善しています。ROI Poolingのように座標を丸めるのではなく、ROI Alignは双一次補間を使用してピクセル値をより正確に推定します。双一次補間は、最も近い4つの近傍値の平均をとることで新しいピクセル値を計算する手法であり、より滑らかな遷移を作成します。これにより、特徴が元の画像と正確に整合し、より正確な物体検出とセグメンテーションが可能になります。

例えば、サッカーの試合で2人の選手が近くに立っている場合、バウンディングボックスが重なるため混同される可能性があります。ROI Alignは、それぞれの形状を明確に保つことで、それらを分離する助けとなります。

Fig 4. Mask R-CNNによるROI Alignの使用。

物体の分類とマスクの予測#

ROI Alignが画像を処理した後、次のステップは物体を分類し、その位置を微調整することです。モデルは抽出された各領域を見て、何が含まれているかを判断します。異なるカテゴリに確率スコアを割り当て、最も適したものを選びます。

同時に、バウンディングボックスを調整して物体に適合させます。初期のボックスは理想的な位置ではない可能性があるため、これにより各ボックスが検出された物体をしっかりと囲むようになり、精度が向上します。

最後に、Mask R-CNNは追加のステップとして、各オブジェクトの詳細なsegmentation maskを並列に生成します。

Mask R-CNNとそのリアルタイムアプリケーション#

このモデルが登場した当初、AIコミュニティから大きな期待を寄せられ、すぐに様々なアプリケーションで使用されるようになりました。リアルタイムで物体を検出・セグメント化する能力は、さまざまな業界におけるゲームチェンジャーとなりました。

たとえば、野生でのtracking endangered animalsは困難な作業です。多くの種が密林の中を移動するため、保護活動家がそれらを追跡し続けることは難しくなります。従来の方法ではカメラトラップ、ドローン、衛星画像が使用されますが、このすべてのデータを手作業で選別するには時間がかかります。誤認や見逃しは保護活動の遅れにつながる可能性があります。

トラの縞模様、キリンの斑点、ゾウの耳の形といった独自の特徴を認識することで、Mask R-CNNは画像や動画内の動物をより高い精度で検出し、セグメント化できます。動物が木々に隠れていたり、近くに立っていたりする場合でも、モデルはそれらを分離してそれぞれを個別に識別できるため、野生生物のモニタリングがより高速かつ信頼性の高いものになります。

Fig 5. Mask R-CNNを使用した動物の検出とセグメンテーション。

Mask R-CNNの制限#

物体検出とセグメンテーションにおける歴史的な重要性にもかかわらず、Mask R-CNNにはいくつかの大きな欠点もあります。Mask R-CNNに関連する課題を以下に挙げます。

• High computational demand: 強力なGPUに依存しているため、実行に費用がかかり、大量のデータを処理する際に処理が遅くなる可能性があります。
• 処理速度が遅い: 多段階のプロセスを必要とするため、YOLOのような高速なリアルタイムモデルと比較すると遅く、時間に敏感なタスクには適さない場合があります。
• 高品質なデータへの依存: 明確で適切にラベル付けされた画像で最も優れたパフォーマンスを発揮します。ぼやけた画像や照明条件の悪い画像では、精度が著しく低下する可能性があります。
• 複雑な実装: 多段階のアーキテクチャは、特に大規模なデータセットや限られたリソースを扱う場合、セットアップや最適化が難しいことがあります。

Mask R-CNNからUltralytics YOLO11へ#

Mask R-CNNはセグメンテーションタスクには優れていましたが、多くの業界ではスピードとリアルタイムパフォーマンスを優先してコンピュータビジョンを導入したいと考えていました。この要求から、研究者は物体を一度のパスで検出するワンステージモデルを開発し、効率を大幅に向上させました。

Mask R-CNNの多段階プロセスとは異なり、YOLO（You Only Look Once）のような1ステージのcomputer vision modelsは、リアルタイムのcomputer vision tasksに焦点を当てています。検出とセグメンテーションを別々に処理するのではなく、YOLOモデルは一度に画像を分析できます。これにより、迅速な意思決定が不可欠な自動運転、医療、製造、ロボティクスなどのアプリケーションに最適となります。

特に、Ultralytics YOLO11は高速かつ高精度であることにより、これをさらに一歩進めています。YOLOv8mよりも22%少ないパラメータを使用しながら、COCOデータセットでより高い平均精度（mAP）を達成しており、より正確にオブジェクトを検出できることを意味しています。その向上した処理速度により、1ミリ秒が重要となるリアルタイムアプリケーションに適した選択肢となっています。

Fig 6. 他のモデルと比較したYOLO11のパフォーマンス。

重要なポイント#

コンピュータビジョンの歴史を振り返ると、Mask R-CNNは物体検出とセグメンテーションにおける大きなブレークスルーとして認められています。詳細な多段階プロセスのおかげで、複雑な環境下でも非常に正確な結果を提供します。

しかし、同じプロセスが原因で、YOLOのようなリアルタイムモデルと比較すると速度が低下します。スピードと効率へのニーズが高まる中、多くのアプリケーションでは、高速で正確な物体検出を提供するUltralytics YOLO11のようなワンステージモデルが採用されています。コンピュータビジョンの進化を理解する上でMask R-CNNは重要ですが、リアルタイムソリューションへの傾向は、より高速で効率的なコンピュータビジョンソリューションに対する需要の高まりを浮き彫りにしています。

成長を続けるcommunityに参加しましょう！AIの詳細については、GitHub repositoryをご覧ください。独自のコンピュータビジョンプロジェクトを開始する準備はできましたか？licensing optionsをご確認ください。ソリューションページにアクセスして、AI in agricultureおよびvision AI in healthcareを発見してください！