Image Matting

画像マッティングとは、画像内の各ピクセルに前景がどの程度含まれているかを推定する処理です。その出力であるアルファマットは、一本一本の髪の毛や毛皮、滑らかなエッジなど、部分的に透明な細部を保つため、被写体を別の背景に自然に配置できます。アルファマッティングとも呼ばれるこのコンピュータビジョンタスクは、精密な切り抜きや画像合成に役立ちます。額縁に使う物理的なマットや医療施設の床マットは、「マッティング」の別の意味です。

アルファマットの仕組み#

アルファマットは、値が0から1までの単一チャンネル画像です。0は背景、1は完全に不透明な前景、中間値は前景の部分的な被覆または透明度を表します。アルファ値はピクセルの混合状態を示し、モデルの信頼度は予測の確実性を示します。細い髪の毛はピクセルの一部しか占めないことがあり、その毛自体が不透明でも、中間のアルファ値になります。

標準的な合成関係はimage = alpha * foreground + (1 - alpha) * backgroundです。マッティングでは既存の画像からこれらの要素を推定し、合成では抽出した前景を置き換え先の背景と組み合わせます。前景色の推定も重要です。髪の周囲に元の背景色が残ると、新しい合成画像に色付きの縁が生じます。

画像セグメンテーションでは、ピクセルを領域に割り当てます。セマンティックセグメンテーションではクラスラベルを割り当て、インスタンスセグメンテーションでは個々のオブジェクトを区別します。マッティングでは、前景の不透明度を連続値で推定します。UltralyticsのYOLO26セグメンテーションは、インスタンスマスクを透明な切り抜きに変換することで、オブジェクトの分離をサポートします。これらのマスクは、別のマッティング精細化段階で前景の輪郭の初期推定に使用できます。

トライマップとマッティング手法#

トライマップは、既知の前景、既知の背景、境界や透明部分を含む未知の領域という3つの領域を指定します。この形式のデータアノテーションによって、推定問題を制約できます。インタラクティブセグメンテーションと同様に、少量の入力で抽出処理をガイドできます。髪の毛を誤って確定した背景として指定すると、そのアルファ値が0に固定され、切り抜きから髪の毛が失われます。

Anat Levin、Dani Lischinski、Yair Weissが2006年に発表した閉形式マッティングは、自然画像マッティングの閉形式解で紹介され、前景色と背景色に関する局所的な仮定を用いて疎な線形システムを構築します。このシステムを解くことで、未知の領域全体のアルファ値を推定します。

ディープラーニング手法では、ラベル付きの例から外観や境界のパターンを学習します。Ning Xu、Brian Price、Scott Cohen、Thomas Huangは2017年にディープ画像マッティングを発表し、畳み込みニューラルネットワークのエンコーダー・デコーダーと精細化処理を組み合わせました。AdobeのマッティングデータとComposition-1kテストセットは、標準的な評価リソースとなりました。前景をさまざまな背景に合成することで、データ拡張を通じてトレーニングデータを増やせます。

Pythonでマットを推定する#

PyMattingのアルファ推定APIは、閉形式マッティングを実装しています。pip install pymatting pillowでインストールし、サンプル画像上で前景と背景のシード領域を指定して使用します。ここでは、トライマップの灰色の値が、ソルバーによる推定対象のピクセルを示します。

from urllib.request import urlopen

import numpy as np
from PIL import Image
from pymatting import estimate_alpha_cf

with urlopen("https://ultralytics.com/images/bus.jpg") as response:
    photo = Image.open(response).convert("RGB")
photo.thumbnail((256, 256))
image = np.asarray(photo, dtype=np.float64) / 255.0

# 空を背景として、バスの一部を前景として指定します。
trimap = np.full(image.shape[:2], 0.5)
trimap[:20, :] = 0.0
trimap[120:145, 115:145] = 1.0

alpha = estimate_alpha_cf(image, trimap)
matte = Image.fromarray(np.uint8(np.clip(alpha, 0, 1) * 255))
matte.save("alpha_matte.png")

保存したグレースケール画像は、推定された前景の寄与度を示します。前景のシード領域は白、背景のシード領域は黒で、それ以外の領域は遷移値が推定されます。

用途と品質評価#

ポートレート編集、商品写真、映画の合成では、背景を置き換える際に細かな境界を保つため、マットを使用します。ポートレート動画マッティングでは、この処理をフレーム間で行いますが、境界が不安定だと目に見えるちらつきが生じます。MODNetは、RGB入力からトライマップなしでポートレートを抽出するリアルタイム推論の検証可能な例です。画像インペインティングでは、選択した領域内のコンテンツを合成します。

マッティングの評価では、予測されたアルファ値を参照マットと比較します。Christoph Rhemannらが2009年に発表した知覚に基づくマッティングベンチマークでは、絶対差の合計、平均二乗誤差、勾配誤差、連結性誤差を使用します。これらの指標は、Intersection over Unionなどの領域重複率を測る指標を補完します。勾配誤差はアルファ値の遷移における差異を測り、連結性誤差は連結した前景構造の乱れを測ります。