Distributionally Robust Optimization

分布ロバスト最適化（DRO）は、データの背後にある確率分布が不確かな場合に、モデルをトレーニングしたり意思決定を選択したりするための手法です。平均的なトレーニング用サンプルの最適化のみに頼るのではなく、DROは妥当な分布のセットを考慮し、そのセットの中で最も困難な条件下でも良好に機能するソリューションを求めます。その直感的な理由は実用的です。カメラがトレーニング中に夜間映像よりもはるかに多くの昼間映像を捉えた場合、高い平均性能が暗闇での悪い結果を隠してしまう可能性があるためです。

分布ロバスト最適化の仕組み#

通常のトレーニングでは、想定されたデータ分布の下での予測誤差に対する平均的なペナルティである期待損失を最小化します。DROでは、未知の現実世界の分布は曖昧性集合（利用可能なデータを考慮して妥当と考えられる分布のコレクション）によって表現されます。その上で、トレーニングはそのセット内の分布の中で最大の期待損失を最小化します。これにより、モデルが遭遇する可能性のあるすべての変化ではなく、指定された種類の不確実性に対して保護されます。

曖昧性集合によって「ロバスト」の意味が決定されます。既知のグループの比率の変化（夜間画像が昼間画像よりも多いなど）を許容する場合があります。あるいは、観測された分布から選択された統計的距離内にある分布を含めることもできます。ワッサーステイン距離は、大まかに言って、ある分布を別の分布に変えるために確率質量をどれだけ、どのくらい動かす必要があるかを測定するものであり、SciPyのワッサーステイン距離ドキュメントでは直感的な1次元の説明が提供されています。データ駆動型ロバスト最適化に関するコーネル大学ガイドは、データから不確実性の記述を構築するためのさらなる文脈を提供します。

より大きな曖昧性集合は多くの変動への備えとなりますが、通常の条件下でのパフォーマンスが犠牲になる可能性があります。小さすぎるセットでは、重要な変化を見落とすおそれがあります。したがって、その範囲を選択するには、単に都合の良い数学的設定だけでなく、実際の展開条件に関する知識が必要です。

DROが関連アプローチと異なる点#

DROは2つの馴染みのあるアイデアの間に位置しています。従来のロバスト最適化は、不確実な入力の困難な値に備え、特定の極端な入力をワーストケースとして扱う可能性があります。一方、DROは、最悪の妥当な確率分布の下での期待結果を考慮します。通常の経験的トレーニングでは、観測された分布を平均損失の基礎として扱います。

また、DROはデータ拡張とも異なります。データ拡張は、暗くした画像や回転させた画像など、変更されたトレーニング例を作成しますが、それ単体では曖昧性集合に対する最適化を行いません。DROは、それらのバリエーションが展開条件を妥当に表している場合、データ拡張を補完することができます。同様に、データドリフトは、時間経過に伴ってデータに観測される変化を表します。DROは展開前に選択された変化を予測し、一方のドリフトモニタリングは事実に何が起こったかを確認します。どちらのアプローチも互いの代わりにはなりません。

コンピュータビジョンにおける重要性#

車両や歩行者を識別する道路カメラの物体検出システムを考えてみます。その映像は明確な昼間のシーンが大部分を占め、雨の夜は珍しいものの重大である場合があります。DROの目的は、文書化された照明や気象条件の異なる混合を妥当なものとして扱い、モデルが困難な条件を軽視して全体的な高スコアを達成することを防ぐことです。ただし、データと選択された曖昧性集合の両方に存在しない危険性の認識を保証することはできません。

製造上の欠陥検出において、カメラや照明は生産ライン間で異なる場合があります。平均検査精度のみによって選択されたモデルは、表現の少ないライン上の欠陥を見逃す可能性があります。それらのラインがグループとして識別される場合、グループベースのロバストな目的は、トレーニングサンプルと比率が異なる場合のパフォーマンスを強調することができます。これはデータセットバイアスに関連していますが、DROは誤ったラベルを修正したり、記録されたことのない欠陥の例を作成したりすることはありません。

どちらのアプリケーションにおいても、新しいサイトへの転移を評価する際には、同じカメラやサイトからの関連画像を一緒に保管してください。グループ対応クロスバリデーションは、トレーニングデータと検証データの両方にほぼ同一のシーンが出現するため強く見える評価を避けるのに役立ちます。

実践的なUltralyticsワークフロー#

妥当な出発点は、カスタムDROの目的を検討する前に、通常のトレーニングと検証のベースラインを確立することです。文書化されたUltralytics YOLO26トレーニングワークフローは、組み込みのCOCO8デモデータセットを使用したこの短い例をサポートしています。

from ultralytics import YOLO

# Load pretrained detection weights.
model = YOLO("yolo26n.pt")

# Train a small baseline on the built-in example dataset.
model.train(data="coco8.yaml", epochs=3)

# Evaluate on the dataset's validation split.
metrics = model.val(data="coco8.yaml")
print(metrics.box.map)

出力は、DROスコアやロバスト性の証明ではなく、全体的な検出平均精度（mAP）です。COCO8はワークフローの検証には役立ちますが、現実の展開条件全体のパフォーマンスを推定するためには役立ちません。実際のプロジェクトでは、代表的な個別にラベル付けされた条件を準備し、それぞれの関連するホールドアウトセットでYOLO検証モードを使用し、全体の結果と条件別の結果の両方を比較してください。

実際のDRO目的を実装するには、曖昧性集合を定義し、トレーニング損失の最適化方法を変更する必要があります。文書化されたカスタムトレーナーワークフローには拡張ポイントが用意されていますが、上記のベースラインコードはDROを実装していません。クラウドのアノテーション、トレーニング、展開を管理するチームは、Ultralytics Platformを使用して、そのより広いワークフローを整理できます。

適切な保護の選択と確認#

具体的な質問から始めます:*どの変化が妥当であり、それらはどのようなエラーを引き起こすか。*関連するカメラ、サイト、または条件から例を収集し、独立したテストグループを維持し、平均値とともに最悪条件の結果を比較します。Googleの一般化に関するガイダンスは、代表的でないトレーニングセットが誤解を招く理由を説明し、一方でNIST AIリスク管理フレームワークの測定ガイダンスはコンテキストに関連した評価の重要性を強調しています。

展開後、トレーニングデータとサービングデータの間の変化を監視します。DROは、その曖昧性集合が信頼できる不確実性を反映している場合に最も役立ちます。これは、健全なデータ収集、慎重な評価、または継続的な監視の代わりにはなりません。