量子化対応トレーニング（QAT）

量子化を考慮したトレーニング（QAT）は、数値精度の低いニューラルネットワーク（NN）の展開に備える高度なモデル最適化手法です。32ビット浮動小数点数（FP32）を使用する標準的なトレーニングとは異なり、QATはトレーニングや 微調整の過程で8ビット整数（INT8）計算の影響をシミュレートします。推論中に遭遇する量子化誤差をモデルに「認識」させることで、QATは精度の潜在的な損失を最小化するようにモデルの重みを調整します。その結果、コンパクトで効率的なモデルでありながら高い性能を維持できるため、リソースに制約のあるハードウェアへの導入に最適です。

量子化を考慮したトレーニングの仕組み

QAT プロセスは通常、事前にトレーニングされた FP32 モデルから開始されます。「偽の」量子化ノードがモデルのアーキテクチャに挿入され、浮動小数点値を低精度の整数に変換して戻す効果を模倣します。その後、モデルはトレーニングデータセットで再トレーニングされる。この再トレーニングの段階で、モデルは標準的なバックプロパゲーションにより、量子化に伴う情報損失への適応を学習する。これによりモデルは、精度の低下に対する感度が低い、よりロバストな重みのセットを見つけることができる。PyTorchや TensorFlowなどの主要な深層学習フレームワークは、QATワークフローを実装するための堅牢なツールとAPIを提供している。

QATとトレーニング後の量子化の比較

QATは、もうひとつの一般的なモデル量子化手法であるPost-Training Quantization（PTQ）とよく比較される。重要な違いは、量子化が適用されるタイミングにある。

• ポストトレーニング量子化（PTQ）：この方法は、モデルが完全にトレーニングされた後に適用される。再トレーニングや元のトレーニングデータへのアクセスを必要としない、よりシンプルで高速なプロセスです。しかし、特に繊細なモデルの場合、モデルの精度が著しく低下することがあります。
• 量子化を考慮したトレーニング（QAT）：量子化を学習ループに組み込む手法。計算量が多く、トレーニングデータへのアクセスも必要ですが、QATはPTQと比較して最終的な量子化モデルの精度がほぼ常に高くなります。パフォーマンスを最大化することが重要な場合には、QATが推奨されます。

QATの実世界での応用

量子化を考慮したトレーニングは、効率が重要なリソース制約のある環境で高度なAIモデルを展開するために不可欠です。

1. オンデバイスコンピュータビジョン： Ultralytics YOLOv8のような複雑なコンピュータビジョンモデルをスマートフォンで直接実行し、拡張現実（AR）アプリでのリアルタイムの物体検出や、写真管理ツール内での画像分類などの用途に使用します。QATは、バッテリーの大幅な消耗や待ち時間なしに、これらのモデルを効率的に実行することを可能にします。
2. 自動車とロボット工学におけるエッジAI： 自律走行車における歩行者検知や車線維持アシストなどのタスクや、ロボット工学における物体操作のためのモデルを展開します。QATは、Google Edge TPUや NVIDIA Jetsonのような特殊なハードウェア上でこれらのモデルを実行することを可能にし、重要なリアルタイム判断のための推論レイテンシを低く抑えます。これは、セキュリティアラームシステムや 駐車場管理のようなアプリケーションにとって極めて重要です。

他の最適化手法との関係

QATは、モデル展開を最適化するためのいくつかのテクニックのひとつであり、最大限の効率を得るために他のテクニックと併用されることが多い。

• モデルの刈り込み：ネットワークから冗長な接続や重要でない接続を削除すること。モデルを最初に刈り込み、次にQATを行うことで、さらに圧縮することができる。
• 知識の蒸留：より大きな「教師」モデルを模倣するために、より小さな「生徒」モデルを訓練する。得られた生徒モデルは、QATを使用してさらに最適化することができます。

Ultralyticsは、QATワークフローと互換性のあるONNX、TensorRT、TFLiteのような様々なフォーマットへのモデルのエクスポートをサポートしており、Intelや NVIDIAのような企業の多様なハードウェアへの効率的な展開を可能にします。QAT に最適化されたモデルは、Ultralytics HUB のようなプラットフォームを使用して管理およびデプロイできます。QAT後に関連するメトリクスを使用してモデル性能を評価することは、精度要件が満たされていることを確認するために不可欠です。