TPU Tensor Unidade de ProcessamentoTensor )

Uma Unidade de Processamento Tensor TPU) é um circuito integrado específico de aplicação (ASIC) desenvolvido circuito integrado de aplicação específica (ASIC) desenvolvido à medida concebido pela Google especificamente para acelerar cargas de trabalho de aprendizagem automática (ML). Ao contrário dos processadores de uso geral, as TPUs são projectadas desde o início para lidar com as enormes exigências computacionais das das redes neuronais, nomeadamente as complexas operações operações matriciais complexas necessárias durante o treino e a inferência. Ao otimizar o hardware para estas tarefas específicas, as TPUs oferecem rendimento e eficiência energética significativamente mais elevados, tornando-as numa pedra angular da moderna inteligência artificial (IA) em ambientes de nuvem e de ponta.

Arquitetura e funcionalidade

A força central de uma TPU reside na sua capacidade de efetuar a multiplicação de matrizes, a operação matemática fundamental matemática fundamental na aprendizagem profunda (DL), a velocidades velocidades incríveis. Enquanto os processadores padrão executam instruções sequencialmente ou com paralelismo limitado, as TPUs utilizam uma arquitetura de matriz sistólica que permite que os dados fluam dados passem por milhares de multiplicadores simultaneamente. Este design minimiza a latência de acesso à memória e maximiza a densidade computacional.

As TPUs estão fortemente integradas no ecossistemaGoogle Cloud, fornecendo recursos escaláveis para treinar modelos de modelos de base. Além disso, elas são otimizadas para frameworks como TensorFlow e cada vez mais suportados pelo PyTorchpermitindo aos programadores tirar partido do hardware de elevado desempenho sem alterar o seu ambiente de codificação preferido.

Comparação de unidades de processamento: CPU, GPU e TPU

Compreender a distinção entre diferentes unidades de processamento é vital para otimizar otimizar os fluxos de trabalho de formação e implementação de modelos.

• CPU (Unidade Central de Processamento): O "cérebro" do computador O "cérebro" do computador, concebido para ser versátil. As CPUs são excelentes no processamento sequencial e na lógica complexa mas são geralmente mais lentas para a matemática paralela massiva necessária na IA.
• GPU (Unidade de Processamento Gráfico): Originalmente criadas para renderização de imagens, as GPUs possuem milhares de núcleos que as tornam altamente eficazes para tarefas paralelas. tarefas paralelas. São o padrão da indústria para treinar modelos versáteis como Ultralytics YOLO11 devido à sua flexibilidade e ao robusto suporte de software robusto como NVIDIA CUDA.
• TPU: Um acelerador especializado que troca flexibilidade por desempenho bruto em matemática matricial. Enquanto uma GPU é óptima para uma grande variedade de tarefas, uma TPU foi concebida para maximizar os flops (operações de vírgula flutuante por segundo) especificamente para cálculos tensor , oferecendo frequentemente um melhor desempenho por watt para IA em grande escala.

Aplicações no Mundo Real

As TPUs desempenham um papel fundamental tanto na formação massiva baseada na nuvem como na implantação eficiente na periferia.

1. Modelos de linguagem de grande dimensão (LLMs): Google utiliza vastos clusters de TPUs, conhecidos como TPU Pods, para treinar imensos modelos de linguagem de grande dimensão (LLMs), como o PaLM e Gemini. A capacidade de interconectar milhares de chips permite que esses sistemas processem petabytes de dados de treino numa fração do tempo exigido pelos clusters tradicionais.
2. IA de ponta e IoT: Numa escala mais pequena, a TPU Edge é um acelerador de hardware concebido para dispositivos de baixo consumo. Permite inferência em tempo real em hardware como o Coral Dev Board, permitindo a deteção rápida de objectos e a segmentação de imagens segmentação de imagens no limite, sem depender de conetividade constante com a Internet.

Implantação de modelos Ultralytics na TPU de borda

Para os programadores que trabalham com visão computacional (CV), a implantação de modelos em dispositivos de baixo consumo exige frequentemente a conversão de pesos padrão num formato compatível com TPUs Edge. A biblioteca Ultralytics simplifica este processo de implementação de modelos permitindo aos utilizadores exportar modelos diretamente para o formato TensorFlow Lite Edge TPU .

Este processo envolve normalmente quantização do modelo, que reduz a precisão dos números precisão dos números (por exemplo, de um float de 32 bits para um inteiro de 8 bits) para se adaptar às restrições do hardware especializado mantendo a exatidão.

from ultralytics import YOLO

# Load the official YOLO11 nano model
model = YOLO("yolo11n.pt")

# Export the model to Edge TPU format (int8 quantization)
# This creates a 'yolo11n_edgetpu.tflite' file for use on Coral devices
model.export(format="edgetpu")

Uma vez exportados, estes modelos podem ser utilizados para tarefas como deteção de objectos em sistemas incorporados, proporcionando sistemas incorporados, proporcionando velocidades de inferência rápidas com um consumo mínimo de energia. Para obter mais detalhes sobre esse fluxo de trabalho, consulte o guia sobre Integração da TPU de borda.