TPU (Tensor Processing Unit)

Tensor Processing Unit (TPU) — это специализированная интегральная схема прикладной ориентации (ASIC), разработанная Google специально для ускорения рабочих нагрузок машинного обучения (ML). В отличие от процессоров общего назначения, которые справляются с широким спектром вычислительных задач, TPU были созданы с нуля для оптимизации масштабных матричных операций, лежащих в основе нейронных сетей. Такая узкая направленность позволяет им достигать исключительно высокой пропускной способности и энергоэффективности, что делает их краеугольным камнем современной инфраструктуры искусственного интеллекта (AI), особенно в рамках экосистемы Google Cloud. Они играют жизненно важную роль в сокращении времени, необходимого как для обучения сложных моделей, так и для выполнения инференса в реальном времени в больших масштабах.

Link to this sectionАрхитектура и функциональность#

Архитектура TPU значительно отличается от традиционных процессоров. В то время как стандартный CPU (Central Processing Unit) отлично справляется с последовательными задачами и сложной логикой, а GPU (Graphics Processing Unit) использует параллельные ядра для графики и общих вычислений, TPU применяет архитектуру систолического массива. Такая конструкция позволяет данным проходить через тысячи множителей одновременно, не обращаясь к памяти для каждой операции. Максимизируя вычислительную плотность и минимизируя задержки, TPU уникально подходят для тяжелых линейных алгебраических вычислений, характерных для приложений глубокого обучения (DL).

Это специализированное оборудование глубоко оптимизировано для таких фреймворков, как TensorFlow, и все чаще поддерживается PyTorch, что позволяет тебе обучать масштабные фундаментальные модели или развертывать эффективные периферийные (edge) решения без полной переработки кодовой базы.

Link to this sectionРазличия между вычислительными устройствами#

Понимание особенностей оборудования критически важно для оптимизации операций машинного обучения (MLOps).

• CPU: «Мозг» компьютера общего назначения, идеально подходящий для последовательной обработки, предварительной подготовки данных и выполнения сложной логики. Его часто используют для конвейеров аугментации данных, однако он работает медленнее при выполнении тяжелых матричных вычислений.
• GPU: Изначально созданные для отрисовки изображений, GPU стали отраслевым стандартом для обучения моделей благодаря своей универсальности и мощным средствам параллелизма. Они отлично подходят для обучения гибких моделей, таких как Ultralytics YOLO26.
• TPU: Специально созданный ускоритель, который жертвует гибкостью ради высокой скорости выполнения тензорных операций. Он разработан для максимизации FLOPS (числа операций с плавающей запятой в секунду) специально для вычислений нейронных сетей, часто обеспечивая превосходную производительность на ватт для конкретных крупномасштабных рабочих нагрузок.

Link to this sectionРеальные приложения#

TPU развертываются в различных средах: от массивных облачных кластеров до крошечных периферийных устройств.

1. Обучение больших языковых моделей: Google использует огромные взаимосвязанные кластеры, называемые TPU Pods, для обучения масштабных больших языковых моделей (LLM), таких как PaLM и Gemini. Эти системы могут обрабатывать петабайты обучающих данных за долю времени, которое потребовалось бы традиционному оборудованию, ускоряя прогресс в области генеративного AI.

2. Edge AI и IoT: Coral Edge TPU привносит это ускорение в устройства с низким энергопотреблением. Он позволяет эффективно использовать приложения компьютерного зрения (CV), например, запускать детекцию объектов на производственной линии для локального выявления дефектов. Это позволяет принимать решения мгновенно, не полагаясь на облачное соединение, что экономит пропускную способность и сохраняет конфиденциальность.

Link to this sectionИспользование TPU вместе с Ultralytics#

Ты можешь использовать ускорение TPU для моделей Ultralytics, особенно при работе с платформой Ultralytics для облачного обучения или при экспорте моделей для периферийного развертывания. Edge TPU, например, требует, чтобы модели были квантованы и скомпилированы специально под его архитектуру.

Следующий пример демонстрирует, как экспортировать модель YOLO26 в формат TFLite, что является обязательным шагом перед компиляцией для Edge TPU:

from ultralytics import YOLO

# Load the latest lightweight YOLO26 nano model
model = YOLO("yolo26n.pt")

# Export the model to TFLite format
# This creates a '.tflite' file suitable for mobile and edge deployment
# Set int8=True for quantization, which is often required for Edge TPU performance
model.export(format="tflite", int8=True)

После экспорта модель может быть дополнительно скомпилирована для Edge TPU с помощью Edge TPU Compiler, что позволит ей эффективно работать на устройствах типа Raspberry Pi с использованием Coral USB Accelerator. Для получения дополнительной информации о развертывании тебе будет полезно ознакомиться с документацией по интеграции TFLite.