FLOPs

FLOPs（Floating-Point Operations）は、モデルの計算量を測定するために機械学習（ML）で使用される基本的な指標です。浮動小数点演算とは、小数点を含む数値（ニューラルネットワークでは標準的）を使用する、加算、減算、乗算、除算などの数学的計算のことです。この用語は、厳密には1秒あたりの演算回数を指すこともありますが、深層学習の文脈では、FLOPsは通常、モデルの単一のフォワードパスに必要なこれらの演算の総数を定量化します。この指標は、推論中にモデルがどれだけ計算集約的になるかを推定するための、ハードウェアに依存しない方法を提供します。数値は非常に大きくなることが多いため、数十億回の演算を表すGigaFLOPs（GFLOPs）または数兆回の演算を表すTeraFLOPs（TFLOPs）で表されます。

機械学習においてFLOPsが重要なのはなぜですか？

FLOPsは、モデルの効率を示す重要な指標です。一般的に、FLOP数が少ないほど、モデルの実行速度が速く、必要な計算能力が少なくなります。これは、エッジAIやモバイルデバイスなど、リソースが限られているアプリケーションでは特に重要です。FLOPsを分析することで、開発者は以下のことが可能になります。

• モデルアーキテクチャの比較：モデル比較ページにあるような異なるモデルを選択する場合、FLOPは精度と並んで計算効率を評価するための標準化された方法を提供します。
• デプロイメントのために最適化：Raspberry PiやNVIDIA Jetsonのようなハードウェアへのモデルのデプロイでは、適切なFLOPカウントを持つモデルを選択することが、望ましいパフォーマンスレベルを達成するために不可欠です。
• ガイドモデルの設計: Ultralytics YOLOシリーズなどの新しいアーキテクチャを開発する研究者は、多くの場合、FLOPを最小限に抑えることを主要な設計制約として扱います。EfficientNetなどのモデルで検討されている手法は、パフォーマンスを犠牲にすることなく計算コストを削減することに焦点を当てています。

実際のアプリケーション

FLOPsは、AIソリューションの開発と展開で日常的に使用される実用的な指標です。

1. モバイルビジョンアプリケーション: スマートフォンアプリ用のリアルタイム物体検出機能を開発する開発者は、バッテリーを消耗せずに高速に実行できるモデルを選択する必要があります。小型のUltralytics YOLO11バリアントなどの軽量モデルのFLOPを他のモデルと比較することにより、デバイスのCPUまたはGPUに対して速度と精度の適切なバランスを提供するモデルを選択できます。

2. 自動運転車: 自動運転では、知覚モデルは非常に低い遅延でカメラフィードを処理する必要があります。これらのシステムを設計するエンジニアは、選択されたアーキテクチャが車両の特殊なハードウェアで実行できることを保証するために、さまざまなモデルのFLOPを分析します。YOLO11のようなモデルは、より複雑なモデルよりも、その低いFLOPが安全な操作のための厳格なタイミング要件を満たすことができる場合に選択される可能性があります。

FLOPsと関連指標

FLOPsを他の一般的な指標と区別することが重要です。

• パラメータ vs. FLOPs: モデルの重み（パラメータ）の数は、メモリストレージの観点からモデルのサイズを示します。一方、FLOPsは計算量を測定します。モデルは、パラメータの数が少なくても、計算負荷の高い操作でそれらのパラメータが何度も再利用される場合、FLOPカウントが高くなる可能性があります。
• MACs vs. FLOPs：MAC（Multiply-Accumulate operations、積和演算）は、ニューラルネットワークにおける一般的な演算です。1つのMACは、多くの場合、2つのFLOPs（1回の乗算と1回の加算）に相当すると見なされます。一部の研究論文やフレームワークでは、計算コストをMACで報告することがあり、これはFLOPs値の約半分です。Papers with Codeのようなリソースでこの違いを確認できます。
• レイテンシとFLOPs: 推論レイテンシは、モデルが予測を行うのにかかる実際のウォールクロック時間です。FLOPsは優れた理論的推定値を提供しますが、実際のレイテンシは、メモリ帯域幅、ハードウェアの並列処理、PyTorchのようなソフトウェアライブラリの効率など、FLOPsが捉えない要因によって影響を受けます。

制限事項

FLOPsは便利ですが、制限事項があります。

• これらは、メモリ アクセス コストを考慮していません。これは重大なボトルネックになる可能性があります。
• 演算で可能な並列処理の程度を捉えていません。
• 実際のパフォーマンスは、ハードウェア固有の最適化と、基盤となるソフトウェアライブラリ（cuDNN、Intel MKL）の効率に大きく依存します。
• 特定の演算（例えば、ReLUのような活性化関数）はFLOPカウントが低いですが、レイテンシに影響を与える可能性があります。

したがって、モデルの効率を完全に把握するには、FLOPsを他のパフォーマンス指標、パラメータ、および実際のベンチマークと併せて考慮する必要があります。Ultralytics HUBのようなツールは、開発およびデプロイメント中にモデルを管理し、さまざまなパフォーマンスの側面を追跡するのに役立ちます。