一口气看懂谷歌TPU

谷歌早在 2013 年就开始布局自研 AI 芯片，当时内部预测如果每个用户每天使用 3 分钟语音搜索，就需要将数据中心规模翻倍。这一判断促使谷歌走上了 TPU（Tensor Processing Unit）的自研之路。

从 TPU v1（2015年，推理专用）到如今的 TPU v7 Ironwood（2025年），谷歌已经迭代了七代产品。每一代都在算力密度、互联带宽、能效比上实现跨越式提升。TPU 不仅服务于谷歌内部（搜索、YouTube 推荐、Gemini 大模型），还通过 Google Cloud 对外提供服务。

TPU v7 代号 Ironwood，是谷歌 2025 年发布的最新一代 TPU，专为大规模 AI 训练和推理设计。其核心规格令人瞩目：

相比上一代 Trillium（TPU v6），Ironwood 的峰值算力提升近 5 倍。这种跨代飞跃得益于更先进的制程工艺、更大的 die size，以及架构层面对矩阵乘法单元（MXU）的深度优化。

Ironwood 的设计哲学是"为规模而生"——单芯片性能固然重要，但真正的竞争力在于数千颗芯片协同工作时的整体效率。这就引出了 TPU 最核心的技术创新：互联架构。

TPU 集群采用 4x4x4 的 3D Torus（三维环面）拓扑结构，64 颗 TPU 组成一个 Cube（立方体）。在这种拓扑中，每颗 TPU 有 6 条 ICI 链路 分别连接 X、Y、Z 三个维度上的相邻节点。

OCS（Optical Circuit Switch，光路交换） 是 TPU 互联的另一大杀器。OCS 使用 MEMS（微机电系统）微镜阵列，通过精确控制微镜角度来改变光信号的路由路径。

OCS 的革命性在于：传统数据中心改变网络拓扑需要人工重新插拔光纤，而 OCS 可以在毫秒级别动态重构连接关系。这意味着：

• 训练不同模型时可以按需调整 TPU 分组
• 某些 TPU 故障时可以快速绕路
• 不同工作负载可以获得最优的通信拓扑

这种"软件定义互联"的能力，是英伟达 NVLink/NVSwitch 体系目前不具备的。

谷歌的 TPU 互联体系分为两层：

ICI（Inter-Core Interconnect，芯片间互联）：这是 TPU 之间的直连高速通道，带宽 1.2 TB/s，延迟极低。通过 ICI + 3D Torus + OCS，单个 Pod 可以容纳 9,216 颗 TPU，形成一个逻辑上的"超级计算机"。

DCN（Data Center Network，数据中心网络）：当单 Pod 不够用时，DCN 将多个 Pod 连接起来。通过 DCN，最多可以将 147,456 颗 TPU 组成一个超级集群，总算力达到惊人的 680 ExaFLOPS。

这种分层架构的设计智慧在于：ICI 层保证了 Pod 内部的超低延迟通信（适合模型并行），DCN 层则提供了跨 Pod 的大带宽连接（适合数据并行和流水线并行）。

TPU 和 GPU 代表了两种截然不同的芯片设计哲学：

TPU（ASIC 路线）：专为 AI 矩阵运算设计，没有图形渲染单元，没有通用计算核心。所有晶体管都服务于 Tensor 运算。优势是能效比极高、单位面积算力密度大；劣势是只能做 AI，不能跑 CUDA 通用程序。

GPU（通用路线）：英伟达的 GPU 既能做 AI 训练，也能做图形渲染、科学模拟、视频编解码。CUDA 生态覆盖了几乎所有计算场景。优势是通用性强、生态完善；劣势是为了兼顾多场景，AI 专项效率不如 TPU。

但 GPU 的护城河在于 CUDA 生态——全球数百万开发者、数万个优化库、几乎所有 AI 框架的首选后端。这不是单纯靠硬件性能就能颠覆的。

谷歌深知，光有好硬件不够，必须解决软件生态问题。为此，谷歌在多个层面发力：

谷歌的策略是"两条腿走路"：一方面让现有 PyTorch 用户低成本迁移，另一方面用 JAX 培养原生 TPU 开发者群体。

2025 年，Anthropic 与谷歌达成了超过 100 万颗 TPU 的合作协议，这是 TPU 商业化的里程碑事件。Anthropic 选择 TPU 的主要原因：

TPU v8：训练与推理双芯时代