TPU (Tensor Processing Unit)

A Tensor Processing Unit (TPU) is a specialized application-specific integrated circuit (ASIC) designed by Google specifically to accelerate machine learning (ML) workloads. Unlike general-purpose processors that handle a broad range of computing tasks, TPUs are engineered from the ground up to optimize the massive matrix operations fundamental to neural networks. This specific focus allows them to achieve exceptionally high throughput and energy efficiency, making them a cornerstone of modern artificial intelligence (AI) infrastructure, particularly within the Google Cloud ecosystem. They play a vital role in reducing the time required for both training complex models and running real-time inference at scale.

Link to this sectionアーキテクチャと機能#

TPUのアーキテクチャは、従来のプロセッサとは大きく異なります。標準的なCPU (Central Processing Unit)が逐次タスクや複雑なロジック処理に長けており、GPU (Graphics Processing Unit)がグラフィックスや汎用計算のために並列コアを使用するのに対し、TPUはシストリックアレイアーキテクチャを活用します。この設計により、すべての演算でメモリにアクセスすることなく、数千もの乗算器を通じてデータを同時に流すことが可能です。TPUは計算密度を最大化し、レイテンシを最小化することで、ディープラーニング (DL)アプリケーションに見られる重い線形代数計算に非常に適しています。

この専用ハードウェアはTensorFlowのようなフレームワーク用に高度に最適化されており、PyTorchでもサポートが進んでいます。これにより、開発者はコードベースを完全に書き直すことなく、巨大な基盤モデル (foundation models)をトレーニングしたり、効率的なエッジソリューションをデプロイしたりすることができます。

Link to this sectionプロセッサユニットの区別#

機械学習オペレーション (MLOps)を最適化するには、ハードウェアの状況を理解することが不可欠です。

• CPU: コンピュータの汎用的な「脳」であり、逐次処理、データの前処理、複雑なロジックの処理に最適です。多くの場合、データ拡張パイプラインに使用されますが、重い行列演算には不向きで低速です。
• GPU: 元来画像レンダリング用に構築されたGPUは、その汎用性と大規模な並列処理能力から、モデルトレーニングにおける業界標準となっています。これらはUltralytics YOLO26のような柔軟なモデルのトレーニングに優れています。
• TPU: 柔軟性を犠牲にしてテンソル演算の圧倒的な速度を追求した、目的特化型のアクセラレータです。ニューラルネットワークの計算のためにFLOPS (floating-point operations per second)を最大化するよう設計されており、特定の長大なワークロードにおいて、ワットあたりの性能で優れたパフォーマンスを発揮することがよくあります。

Link to this section実社会での応用#

TPUは、大規模なクラウドクラスターから小さなエッジデバイスまで、さまざまな環境で展開されています。

1. 大規模言語モデルのトレーニング: GoogleはTPU Podsと呼ばれる膨大な相互接続クラスターを活用し、PaLMやGeminiといった巨大な大規模言語モデル (LLM)をトレーニングしています。これらのシステムは、ペタバイト単位のトレーニングデータを、従来のハードウェアよりもはるかに短い時間で処理し、生成AIの進歩を加速させています。

2. Edge AI and IoT: The Coral Edge TPU brings this acceleration to low-power devices. It enables efficient computer vision (CV) applications, such as running object detection on a manufacturing line to identify defects locally. This allows for immediate decision-making without relying on cloud connectivity, preserving bandwidth and privacy.

Link to this sectionUltralyticsでTPUを使用する#

開発者は、クラウドトレーニングのためにUltralytics Platformを使用する場合や、エッジデプロイ向けにモデルをエクスポートする場合に、UltralyticsモデルでTPUアクセラレーションを活用できます。例えばEdge TPUでは、モデルをそのアーキテクチャ用に個別に量子化およびコンパイルする必要があります。

以下の例は、YOLO26モデルをEdge TPU向けにコンパイルする前の前提ステップとして、TFLite形式にエクスポートする方法を示しています。

from ultralytics import YOLO

# Load the latest lightweight YOLO26 nano model
model = YOLO("yolo26n.pt")

# Export the model to TFLite format
# This creates a '.tflite' file suitable for mobile and edge deployment
# Set int8=True for quantization, which is often required for Edge TPU performance
model.export(format="tflite", int8=True)

エクスポート後、モデルはEdge TPU Compilerを使用してさらにEdge TPU向けにコンパイルすることができ、Coral USB Acceleratorを搭載したRaspberry Piなどのデバイスで効率的に実行できるようになります。デプロイの詳細については、TFLite統合ドキュメントを確認すると非常に役立ちます。