Model Inversion

モデルインバージョンとは、モデルの予測、学習済みパラメーター、または内部表現から、モデルへの入力や学習データに関する情報を復元することです。直感的には、予測を逆方向にたどる手法です。機械学習モデルが漏らす情報を手がかりに、顔を再構成したり、機密性の高い属性を推定したり、テキストを復元したりします。不正に利用すると、データプライバシーへの攻撃になります。

Matthew Fredrikson、Eric Lantz、Somesh Jha、Simon Lin、David Page、Thomas Ristenpartは、2014年に個人別のワルファリン投与量モデルに対するモデルインバージョンを通じて、このセキュリティ用語を提唱しました。モデル、人口統計情報、患者の安定した投与量を使い、薬剤への反応に関連する遺伝マーカーを推定しました。評価にはInternational Warfarin Pharmacogenetics Consortiumのデータが使われました。

モデルインバージョンの仕組み#

攻撃者には、観測可能な信号と再構成の目的が必要です。分類器の信頼度スコアからは、候補入力が対象クラスにどれほど強く一致するかが分かります。ホワイトボックスアクセスでは、攻撃者はモデルの重みも確認でき、勾配を計算できます。ブラックボックスアクセスでは、クエリーインターフェースを通じて予測を取得します。入力の数値表現である中間の埋め込みも、再構成の対象になります。

最適化ベースのインバージョンでは、候補入力から開始し、ターゲットクラスの確率を1から引いた値などの損失関数を減らすように、入力を繰り返し変更します。学習済みモデルは固定したまま、勾配降下法で入力を更新します。結果としてクラスの特徴を認識できる入力が得られる場合がありますが、正確に復元できるかは、アクセス可能な信号にどれほどの情報が保持されているかによって異なります。

Ultralytics YOLOはmodel.embed()を通じて画像表現を公開し、特徴抽出のワークフローをサポートします。これらのベクトルを共有すると、インバージョンに焦点を当てたプライバシーテストに含めるべきインターフェースが新たに生まれます。

顔の再構成と実行可能な例#

2015年、Fredrikson、Jha、Ristenpartは、MI-Faceなどの信頼度ベースのインバージョン攻撃と基本的な対策を発表しました。顔認識の実験には、40人の顔画像400枚を含むAT&T/ORL顔データベースが使われました。人物のIDラベルに合わせてピクセルを最適化すると、認識可能な顔画像が再構成され、IDに結び付いた外見情報が露呈しました。

Adversarial Robustness ToolboxのMIFace実装は、連続特徴量分類器もサポートしています。この例では、scikit-learnに同梱されている手書き数字データセットで学習したロジスティック回帰に適用します。pip install adversarial-robustness-toolbox scikit-learn matplotlibで依存関係をインストールします。

import matplotlib.pyplot as plt
import numpy as np
from art.attacks.inference.model_inversion import MIFace
from art.estimators.classification import SklearnClassifier
from sklearn.datasets import load_digits
from sklearn.linear_model import LogisticRegression

images, labels = load_digits(return_X_y=True)
images = images.astype(np.float32) / 16
model = LogisticRegression(max_iter=1000)
model.fit(images, labels)
classifier = SklearnClassifier(model=model, clip_values=(0, 1))

# 対象の数字クラスに向けてピクセルを再構成します。
attack = MIFace(classifier, max_iter=1000, verbose=False)
reconstructions = attack.infer(x=None, y=np.array([3]))
reconstruction = reconstructions[0]
plt.imshow(reconstruction.reshape(8, 8), cmap="gray")
plt.axis("off")
plt.show()

表示された再構成画像は、学習済み分類器の勾配を使って数字の3のクラス向けに最適化されたピクセルを示しています。

言語システムでは、インバージョンによってプロンプトも復元できます。John X. Morrisらが2024年に発表した言語モデルインバージョン手法は、次のトークンの確率分布から先行するテキストを再構成しました。共同推論では、プロンプトインバージョン攻撃により、参加者間で送信される中間活性値から入力テキストを再構成し、分散計算の境界を越えてプロンプトが露呈します。

関連する概念と相違点#

これらの用語は、攻撃者が目指す目的の違いを表します。

• メンバーシップ推論は、既知のレコードが学習データに含まれていたかどうかを判定します。一方、インバージョンは未知の内容や属性を推定します。
• 属性推論は、レコードに関する他の情報を使って機密性の高い項目を補完します。元のワルファリン攻撃は、属性推論とモデルインバージョンの両方に該当します。
• 敵対的攻撃には、誤った予測を引き起こすように入力を変更する回避攻撃が含まれます。インバージョンは情報の開示を目的とします。
• 逆モデリングは、観測結果から原因やパラメーターを広く推定する手法です。たとえば、逆レンダリングでは、画像からシーンの特性を推定します。

露出の低減#

アクセス制御により、モデルへのクエリや内部表現の取得を許可するユーザーを制限できます。モデルのモニタリングで異常なクエリパターンを検出できるほか、信頼度スコアの精度を下げることで、信頼度を利用した攻撃に悪用される情報を減らせます。プライバシー評価では、実際に付与されたアクセス権のもとでの再構成品質を測定します。

差分プライバシーは、調整されたランダム性を通じて、個人の学習記録が与える影響を制限します。プライバシー保証の対象は、データセットへの参加によって追加される情報です。反転攻撃は、遺伝子マーカーと薬剤投与量の関係など、母集団レベルの相関関係も悪用する可能性があります。