Pruning

プルーニングは、不要なパラメータを削除することでニューラルネットワークのサイズと計算量を削減するために使用される、戦略的なモデル最適化テクニックです。庭師が木の成長を促すために枯れ枝や伸びすぎた枝を切り落とすように、プルーニングアルゴリズムはモデルの予測力にほとんど貢献しない冗長な重みとバイアスを特定して排除します。主な目的は、大幅に少ないメモリとエネルギーを消費しつつ、高い精度を維持する圧縮された「スパース（疎）」なモデルを作成することです。この削減は、推論レイテンシを改善し、高度なアーキテクチャをスマートフォンや組み込みデバイスなどのリソースが限られたハードウェア上で効率的に実行できるようにするために不可欠です。

メカニズムと手法#

現代のディープラーニングモデルは過剰パラメータ化されていることが多く、特定のタスクを解決するために必要な数よりもはるかに多くの接続が含まれていることを意味します。プルーニングは、出力に与える影響が無視できるという前提のもと、値がゼロに近い接続を削除することで、この特性を活用します。パラメータが削除された後、モデルは通常ファインチューニングのプロセスを経て、残りの重みを調整し失われたパフォーマンスを回復するために短時間の再学習が行われます。この概念は、大規模なネットワークには同様の精度に到達できる、より小さく非常に効率的なサブネットワークが含まれていることを示唆するくじ券仮説密接に関連しています。

プルーニング戦略には主に2つのカテゴリーがあります。

• 非構造化プルーニング: この手法は、位置に関係なく、個々の重みの大きさに応じて重みを削除します。総パラメータ数を効果的に削減する一方で、専用のソフトウェアがなければ標準的なCPUやGPUでは効率的な処理が難しい、不規則なスパース行列を作成します。
• 構造化プルーニング: このアプローチは、畳み込みニューラルネットワーク (CNN)内のニューロン、チャネル、レイヤーなどの幾何学的構造全体を削除します。行列構造を維持するため、構造化プルーニングは標準的なハードウェアアクセラレータとの互換性が高く、リアルタイム推論の即座な高速化につながることがよくあります。

実社会での応用#

プルーニングは、ハードウェアリソースが限られているさまざまな産業においてエッジAIを実現するために不可欠です：

1. 自律型ドローン: 捜索救助に使用される無人航空機は、複雑な環境をナビゲートするためにコンピュータービジョンに依存しています。プルーニングされたオブジェクト検出モデルにより、これらのデバイスはクラウド通信に関連するレイテンシの問題を回避しながら、ローカルでビデオフィードをリアルタイムに処理できます。

2. モバイルヘルスケア: 超音波解析用のハンドヘルド医療デバイスは、プルーニングされたモデルを利用してデバイス上で直接異常を検出します。これにより、患者のデータプライバシーが確保され、インターネット接続のない遠隔地でも高度な診断が可能になります。

実装例#

YOLO26のような最先端モデルは効率性を重視して設計されていますが、開発者はPyTorchなどのライブラリを使用してプルーニングを適用し、レイヤーをさらに最適化することができます。次の例は、畳み込み層に非構造化プルーニングを適用する方法を示しています。

import torch
import torch.nn.utils.prune as prune

# Initialize a standard convolutional layer
layer = torch.nn.Conv2d(in_channels=3, out_channels=32, kernel_size=3)

# Apply L1 unstructured pruning to remove 30% of weights with the lowest magnitude
prune.l1_unstructured(layer, name="weight", amount=0.3)

# Verify sparsity (percentage of zero parameters)
sparsity = 100.0 * float(torch.sum(layer.weight == 0)) / layer.weight.nelement()
print(f"Sparsity achieved: {sparsity:.2f}%")

プルーニングと関連する最適化技術の比較#

デプロイに向けてモデルを効率的に最適化するためには、プルーニングを他の戦略と区別することが役立ちます：

• モデル量子化: 接続を削除するプルーニングとは異なり、量子化は重みの精度を低下させます（例：32ビット浮動小数点数を8ビット整数に変換する）。両方の手法を組み合わせて使用することで、組み込みシステムでの効率を最大化できます。
• 知識蒸留: これには、より小さな「生徒」モデルを訓練して、より大きな「教師」モデルの挙動を模倣させることが含まれます。プルーニングが元のモデルを直接変更するのに対し、蒸留は新しくコンパクトなアーキテクチャを訓練します。

トレーニング、アノテーション、最適化されたモデルのデプロイを含む包括的なライフサイクル管理のために、ユーザーはUltralytics プラットフォームを活用できます。これにより、データセット管理から、ONNXやTensorRTなどのハードウェアフレンドリーな形式でのモデルのエクスポートまでのワークフローが簡素化されます。