TPU (Tensor Processing Unit)

Bộ xử lý Tensor (TPU) là mạch tích hợp chuyên dụng (ASIC) do Google thiết kế để tăng tốc quá trình huấn luyện và inference mạng nơ-ron. TPU được xây dựng xoay quanh các đơn vị nhân ma trận lớn vì phép nhân ma trận chiếm phần lớn khối lượng công việc của học sâu. Google đã vận hành TPU trong các trung tâm dữ liệu từ năm 2015, huấn luyện các model Gemini trên TPU và cho các công ty khác thuê thông qua dịch vụ Cloud TPU. Thế hệ thứ tám, công bố vào tháng 4 năm 2026, gồm hai chip: TPU 8t cho huấn luyện và TPU 8i cho inference.

TPU hoạt động như thế nào#

Bộ phận cốt lõi của mỗi TPU là đơn vị nhân ma trận (MXU), được bố trí thành mảng systolic, một lưới các ô nhân-tích lũy truyền dữ liệu trực tiếp cho ô lân cận. Trọng số được nạp vào các ô một lần, đầu vào di chuyển qua lưới mỗi chu kỳ xung nhịp một bước, còn tổng từng phần chạy xuống các cột; nhờ vậy, mỗi giá trị đọc từ bộ nhớ được nhiều ô tái sử dụng. Truy xuất bộ nhớ tốn thời gian và năng lượng hơn nhiều so với tính toán số học — đây là yếu tố tạo nên hiệu quả của thiết kế. Trên Cloud TPU v2 và v3, mỗi MXU là mảng 128×128, thực hiện phép nhân ở định dạng bfloat16 và tích lũy ở FP32. Mô phỏng ngắn dưới đây minh họa luồng dữ liệu trên lưới 4×4:

import numpy as np

rng = np.random.default_rng(0)
W = rng.integers(-5, 5, (4, 4))  # weights, preloaded one per cell of a 4x4 grid
X = rng.integers(-5, 5, (6, 4))  # six input rows stream through the grid
Y = np.zeros((6, 4), dtype=int)

# Cell (k, j) holds W[k, j]. Input X[i, k] enters row k from the left and reaches
# cell (k, j) at cycle i + k + j, where it is multiplied by the stored weight and
# added to the partial sum for Y[i, j] passing down column j
cycles = 6 + 4 + 4 - 2
for t in range(cycles):
    for k in range(4):
        for j in range(4):
            i = t - k - j
            if 0 <= i < 6:
                Y[i, j] += X[i, k] * W[k, j]

print(f"{X.size * 4} multiply-adds in {cycles} cycles, equal to X @ W: {np.array_equal(Y, X @ W)}")

Lệnh này in ra 96 multiply-adds in 12 cycles, equal to X @ W: True: 16 ô tạo ra đúng tích ma trận trong khi mỗi trọng số chỉ được đọc từ bộ nhớ một lần rồi tái sử dụng cho cả sáu hàng đầu vào. TPU thế hệ đầu tiên chạy mẫu tính toán này trên lưới 256×256 gồm các ô 8 bit, thực hiện 65,536 phép nhân-cộng dồn mỗi chu kỳ và đạt thông lượng đỉnh 92 nghìn tỷ phép toán mỗi giây; cách thực thi đơn giản, có tính xác định của TPU phù hợp với mục tiêu của Google là đáp ứng mục tiêu thời gian phản hồi ở phân vị thứ 99 cho suy luận.

TPU chạy code được biên dịch bởi XLA, công cụ nhận toàn bộ đồ thị tính toán từ JAX, TensorFlow hoặc PyTorch, rồi ánh xạ đồ thị lên các đơn vị ma trận. Các chip kết nối với nhau qua những liên kết chuyên dụng để tạo thành pod gồm hàng nghìn chip; nhờ vậy, các model nền tảng lớn nhất có thể được huấn luyện đồng thời trên nhiều TPU.

TPU, GPU và CPU#

• CPU: Một số ít lõi mạnh để xử lý rẽ nhánh và code đa dụng; trong hầu hết pipeline huấn luyện, CPU đảm nhiệm nạp và tiền xử lý dữ liệu.
• GPU: Hàng nghìn lõi có thể lập trình cùng Tensor Core để tính toán ma trận. GPU chạy được gần như mọi model và framework, đồng thời được nhiều nhà cung cấp và dịch vụ cloud bán.
• TPU: Đánh đổi tính linh hoạt để tăng hiệu quả trên các phép toán ma trận dày đặc, quy mô lớn. Tác vụ có hình dạng tensor tĩnh hoạt động tốt nhất, vì thay đổi hình dạng khiến XLA biên dịch lại; TPU không phù hợp với các phép toán tùy chỉnh, rẽ nhánh nhiều hoặc số học độ chính xác cao.
• NPU: Tên gọi chung cho các bộ tăng tốc mạng nơ-ron trong điện thoại, laptop và chip edge; Edge TPU thuộc nhóm này.

Edge TPU#

Edge TPU là TPU nhỏ chỉ dùng cho suy luận, được tích hợp trong Coral USB Accelerator, các module M.2 và PCIe, cùng Dev Board của Google. Chip thực hiện 4 nghìn tỷ phép toán mỗi giây với công suất 2 watt và chỉ chạy phép toán số nguyên 8 bit; vì vậy, mạng phải được chuyển đổi hoàn toàn sang INT8 thông qua lượng tử hóa model, rồi biên dịch bằng Edge TPU Compiler của Google. Trình biên dịch này đưa các phép toán được hỗ trợ lên chip và để phần còn lại chạy trên CPU host. Ultralytics YOLO tự động hóa cả hai bước bằng format="edgetpu", tùy chọn này bật lượng tử hóa INT8 và chạy trình biên dịch trên máy Linux x86-64, tạo ra model chạy được trên các bo mạch như Raspberry Pi kết hợp Coral USB Accelerator:

from ultralytics import YOLO

# Load the smallest YOLO26 detection model
model = YOLO("yolo26n.pt")

# Quantize to INT8 and compile for the Edge TPU (x86-64 Linux only)
path = model.export(format="edgetpu")
print(f"Edge TPU model: {path}")

Hiện nay, nền tảng Coral của Google tập trung vào Coral NPU, một thiết kế bộ tăng tốc RISC-V mã nguồn mở được công bố vào tháng 10 năm 2025 dành cho thiết bị đeo, với mục tiêu đạt 512 tỷ phép toán mỗi giây ở công suất vài milliwatt.