TPU (Tensor Processing Unit)

Tensor Processing Unit (TPU) は、machine learning (ML) のワークロードを加速させるためにGoogleが特別に設計した、専用の特定用途向け集積回路 (ASIC) です。幅広いコンピューティングタスクを処理する汎用プロセッサとは異なり、TPUは neural networks の基本となる大規模な行列演算を最適化するようにゼロから設計されています。この特定の焦点により、極めて高いスループットとエネルギー効率を実現しており、特に Google Cloud ecosystem において、現代の artificial intelligence (AI) インフラストラクチャの基盤となっています。複雑なモデルのトレーニングと、大規模な real-time inference の実行の両方に必要な時間を短縮する上で重要な役割を果たします。

アーキテクチャと機能#

TPUのアーキテクチャは、従来のプロセッサとは大きく異なります。標準的な CPU (Central Processing Unit) が逐次処理や複雑なロジックを得意とし、GPU (Graphics Processing Unit) がグラフィックスや汎用コンピューティングに並列コアを使用するのに対し、TPUは systolic array architecture を採用しています。この設計により、すべての演算でメモリにアクセスすることなく、何千もの乗算器を同時にデータが通過できるようになります。計算密度を最大化し、レイテンシを最小限に抑えることで、TPUは deep learning (DL) アプリケーションに見られる重い線形代数に非常に適しています。

この専用ハードウェアは TensorFlow などのフレームワーク向けに高度に最適化されており、PyTorch のサポートも進んでいるため、開発者はコードベースを完全に書き直すことなく、大規模な foundation models のトレーニングや効率的なエッジソリューションのデプロイを行うことができます。

プロセッサユニットの区別#

ハードウェア環境を理解することは、machine learning operations (MLOps) を最適化する上で極めて重要です。

• CPU: コンピュータの汎用的な「脳」であり、逐次処理、データの前処理、複雑なロジックの処理に最適です。data augmentation パイプラインによく使用されますが、重い行列計算には低速です。
• GPU: もともとは画像描画用に構築されたGPUは、その汎用性と大規模な並列処理により、model training における業界標準となっています。Ultralytics YOLO26 のような柔軟なモデルのトレーニングに最適です。
• TPU: テンソル演算の圧倒的な速度のために柔軟性を犠牲にした、専用のアクセラレータです。ニューラルネットワークの計算に特化して FLOPS (floating-point operations per second) を最大化するように設計されており、特定の大規模ワークロードに対して優れたワットパフォーマンスを発揮することがよくあります。

実社会での応用#

TPUは、大規模なクラウドクラスターから小さなエッジデバイスまで、さまざまな環境で展開されています。

1. 大規模言語モデルのトレーニング: Googleは、TPU Podsと呼ばれる広大で相互接続されたクラスターを使用して、PaLMやGeminiなどの莫大な large language models (LLMs) をトレーニングしています。これらのシステムは、従来のハードウェアであれば何倍もかかるペタバイト単位の training data を処理でき、generative AI の進化を加速させています。

2. エッジAIとIoT: Coral Edge TPU は、このアクセラレーションを低電力デバイスにもたらします。製造ラインで object detection を実行して欠陥をローカルで特定するなど、効率的な computer vision (CV) アプリケーションを可能にします。これにより、クラウド接続に依存せずに即座に意思決定を行うことができ、帯域幅とプライバシーを保護します。

UltralyticsでTPUを使用する#

Ultralytics Platform を使用したクラウドトレーニングや、エッジデプロイのためのモデルのエクスポートを行う際など、開発者はUltralyticsモデルでTPUアクセラレーションを活用できます。たとえば、Edge TPUでは、モデルがそのアーキテクチャに合わせて特別に量子化およびコンパイルされている必要があります。

次の例では、Ultralytics YOLO26 モデルを TFLite フォーマットにエクスポートする方法を示します。これは、Edge TPU 向けにコンパイルする前の必須ステップです。

from ultralytics import YOLO

# Load the latest lightweight YOLO26 nano model
model = YOLO("yolo26n.pt")

# Export the model to TFLite format
# This creates a '.tflite' file suitable for mobile and edge deployment
# Set int8=True for quantization, which is often required for Edge TPU performance
model.export(format="tflite", int8=True)

エクスポートされたモデルは、Edge TPU Compiler を使用してEdge TPU用にさらにコンパイルすることができ、Coral USB Acceleratorを搭載したRaspberry Piなどのデバイス上で効率的に実行できるようになります。デプロイの詳細については、TFLite integration のドキュメントを参照してください。