谷歌自研芯片 TPU 正加速走出内部围墙，向外部客户开放。
半导体研究机构 SemiAnalysis 发布首份针对 TPUv7 Ironwood 的第三方推理测试结果，显示在同等条件对比下，Ironwood 在每美元性能指标上最高领先英伟达 B200 和 B300 达 50%，标志着谷歌在 AI 推理芯片市场的竞争格局中正式发起冲击。
SemiAnalysis 的测试数据显示，在每用户每秒 100 个 token 的交互速度下，Ironwood 每百万 token 推理成本约为 0.181 美元，低于 B200 的 0.222 美元和 B300 的 0.276 美元，分别便宜约 19% 和 34%。
在更高并发场景下，若采用谷歌内部总拥有成本（TCO）计算，Ironwood 相对 B200 的每美元性能优势可扩大至 76.7%，相对 B300 则达 130.2%。与此同时，谷歌正全力推进名为 TorchTPU 的新一代原生 PyTorch 后端，预计于 10 月开源，以取代此前存在诸多局限的 TorchAX 方案，进一步降低外部开发者使用 TPU 的门槛。
这一进展对英伟达的市场地位构成直接挑战。Anthropic 已承诺采购逾百万颗 TPU，成为谷歌 TPU 最大外部用户，预计到 2029 年其 TPU 使用量将超过 DeepMind 自身。SemiAnalysis 认为，随着分离式预填充 / 解码（PD Disaggregation）、投机解码等关键优化陆续落地，TPUv7 的竞争力将进一步提升，并有望在全性能曲线上与英伟达 GB200/GB300 NVL72 形成正面竞争。
每美元性能：Ironwood 在多数场景领先 Blackwell
SemiAnalysis 的测试以 Qwen3.5 397B FP8 模型为基准，在聚合服务（Aggregated Serving）模式下对 TPUv7 Ironwood 与英伟达 B200、B300 进行了逐项对比。
在 " 非同等对比 " 场景下，即 GB300 NVL72 采用分离式服务、TPUv7 仍使用聚合服务时，GB300 在中等端到端延迟区间具备约 30% 的每美元性能优势。SemiAnalysis 认为，一旦 TPUv7 的分离式服务优化完成，这一差距将消除。
TorchTPU：构建原生 PyTorch 生态，取代 TorchAX
谷歌 TPU 外部化的核心瓶颈长期在于软件栈。此前，外部开发者需通过 TorchAX 将 PyTorch 模型转译为 JAX 执行，这一路径在低级优化、分页注意力机制以及与 vLLM 工作模型的适配上存在诸多问题。
新一代 TorchTPU 方案通过 PyTorch 的 PrivateUse1 后端扩展点，将 TPU 直接暴露为原生 PyTorch 设备（device="tpu"），开发者可使用 .to ( "tpu" ) 调用，并保留熟悉的分布式接口（包括 DDP、FSDP2、DTensor 等）。编译路径上，TorchDynamo 和 AOTAutograd 生成 FX 计算图，TorchTPU 将其降低为 StableHLO，再由 XLA 生成 TPU 可执行代码，底层 Pallas 内核仍负责性能关键操作。
这一架构变化的实际意义在于：vLLM 和 SGLang 可以复用更多上游模型代码、调度器和 API 逻辑，而无需跨越 PyTorch 到 JAX 的框架边界重新构建。SemiAnalysis 指出，Inferact、RadixArk 和 Red Hat 均在与谷歌合作，推动 TorchTPU 成为 vLLM 和 SGLang 的一级支持后端。
目前，TorchTPU 仍处于私有测试阶段，预计于 10 月 PyTorch 大会期间开源。谷歌计划在 Qwen3.5 397B 完成初步适配后，进一步支持 Kimi K3、GLM5.3 以及谷歌自有开源模型 Gemma4。SemiAnalysis 预计，一旦少数模型完成优化，新增模型支持的边际成本将大幅下降，TPU 有望进入 vLLM 和 SGLang 的 "Day 0" 支持名单。
为支撑上述性能数据，谷歌工程团队对 TPU 推理内核进行了大量针对性优化，涵盖注意力机制、MoE 路由、混合模型状态管理等多个层面。
在注意力并行方面，针对 Qwen3.5 的 GQA 层（32 个查询头、仅 2 个 KV 头）的不均匀分布问题，TPU 后端新增了 8 路注意力数据并行（DP8）与 8 路专家并行（EP8）的组合支持，避免了不必要的 All-to-All 通信开销。
在通信优化方面，谷歌将专家 ID 和路由权重合并为单次 All-Gather 操作，在 DeepSeek-V3 测试中每层节省约 80 微秒；跨 58 层累计可节省约 4.64 毫秒每次前向传播。此外，ReduceScatter 集合操作被迁移至 SparseCore 执行，并结合双缓冲技术实现计算与通信的流水线重叠，在 8k1k 工作负载下，并发 64 至 512 的吞吐量提升幅度为 4.1% 至 14.2%。
在 MoE 路由内核方面，通过将 token 的不规则重排移至 SparseCore 处理、对专家权重实施三重缓冲、以及针对小批量场景引入独立排列路径，8k1k 服务吞吐量在并发 64 时提升 7.3%，在并发 128 时提升 5.1%。
在混合模型状态管理方面，将循环状态（Recurrent State）存储精度从 FP32 降至 BF16，在保持 VMEM 内 FP32 算术精度的同时，将 HBM 占用减半，1k8k 吞吐量在并发 512 时提升 15%。通过优化 KV 缓存页面布局（序列维度置于 128-lane 轴），可用 KV 页面数量从 5,141 增至 10,283，在并发 128 的 8k1k 测试中吞吐量提升 16.5%，中位 TTFT 下降 95%。
Ironwood 硬件架构：协同设计驱动成本优势
SemiAnalysis 认为，谷歌在推理成本上的优势根源在于芯片、互联网络与编译器的协同设计，而非单纯的单芯片算力堆叠。
TPUv7 Ironwood 打破了 TPU v4 和 v5p 时代的 "MegaCore" 设计惯例，改为在单颗芯片上集成两个独立计算裸片，通过高带宽裸片间链路连接，JAX 等框架将其暴露为两个独立逻辑设备。每颗芯片配备 2 个 TensorCore 和 4 个第三代 SparseCore，HBM 容量约为上一代 Trillium 的 6 倍，并首次引入原生 FP8 硬件支持。
矩阵乘法单元（MXU）方面，Ironwood 采用 256 × 256 的脉动阵列，每周期可执行 65,536 次乘加运算，是此前 128 × 128 设计的 4 倍。但这也带来了对模型形状的严格要求：矩阵维度需填充至 256 的倍数，否则将造成 MXU 利用率损失。以 Llama 3 8B 为例，其注意力头维度为 128，在 Ironwood 上两个注意力矩阵乘法的 MXU 利用率上限仅为 50%。
在芯片互联方面，Ironwood 延续了 3D 环形拓扑（3D Torus），基本构建单元为 64 颗芯片组成的 4 × 4 × 4 立方体，通过光学电路交换机（OCS）可扩展至 9,216 颗芯片的超级 Pod，总算力达 42.5 FP8 exaflops。ICI 网络绕过主机 CPU，支持芯片间直接交换激活值和梯度，在整个 Pod 范围内提供接近 NVLink 级别的带宽。
前瞻：TPUv8i 与软件路线图
谷歌新发布的第八代 TPU 首次将训练与推理拆分为两款独立芯片：TPU 8t 面向训练，TPU 8i 面向推理。
TPUv8i（代号 Boardfly）以高基数交换机构成的扁平化层次网络取代 3D 环形拓扑，在 1,024 至 1,152 颗芯片规模下，网络直径从约 16 跳降至约 7 跳，降幅超过 50%，有助于降低 MoE 路由和多轮智能体工作负载中的尾延迟。TPUv8i 还配备 19.2 Tb/s 的 ICI 带宽（较上一代翻倍）和 384 MB 片上 SRAM（较上一代增加 3 倍），专为在片上缓存推理和智能体模型的 KV 缓存而设计。此外，TPUv8i 将支持原生 FP4 计算，SemiAnalysis 认为其有望与英伟达 Rubin NVL72 形成正面竞争。
在软件路线图方面，谷歌当前优先推进的外部化工作包括：投机解码（Speculative Decoding/MTP）优化、预填充 - 解码分离式服务（PD Disaggregation）、KV 缓存 DRAM 卸载，以及对多轮智能体工作负载（AgentX）的支持。谷歌已开源 TPU-Sync（原 TPU-raiden）KV 缓存传输库，并计划支持业界标准的 Mooncake Store 卸载方案。
SemiAnalysis 总结认为，与 AMD 相比，谷歌拥有数十年软件工程积累和成熟的质量驱动文化，预计外部 TPU 软件栈的成熟速度将显著快于竞争对手。" 罗马不是一天建成的，但 TPU 外部化正在以极快的速度推进。"
