天数智芯天垓 300 实测对标 H200，国产 GPU 接下来拼什么？

在实测场景中达到 H200 的性能水平后，国产 GPU 的竞争，开始进一步转向系统效率、软件适配与实际交付。

本周的天数智芯媒体开放日上，最新一代天垓 300 与 H200 的实机对比，是最直观的性能展示。让 GPU 与专用芯片组成异构系统，是对推理效率的新探索。软件栈引入 Agent 与 Skills，则试图解决客户部署、适配和优化的工程难题。

天数智芯表示，今年完成的一组第三方测试中，在典型 PD 分离部署下，天垓 300 折算单卡端到端吞吐达到 H200 的 1.05 倍。这表明国产通用 GPU 在特定高端推理负载中，已经拥有与 H200 直接竞争的性能基础。

但从性能接近到客户采购，再到持续扩容，中间仍隔着系统效率、软件适配和稳定交付。当硬件具备竞争力，国产 GPU 怎样把这种能力转化为客户持续使用的理由？当推理催生更多专用芯片，通用 GPU 的独特价值是什么？

从云端天垓 300 到端侧彤央系列，天数智芯也在拓展产品布局，将竞争延伸到不同形态的算力需求中。

天垓 300 对比 H200 实测，性能小幅领先

过去很长一段时间，峰值算力是国产 AI 芯片受到关注的重要指标。但对最终用户而言，设备每秒真正产出多少有效 Token，比参数表上的理论算力更接近采购决策。

天数智芯披露的第三方测试覆盖四大主流模型、三类场景。其中，1.05 倍指典型 PD 分离部署下，折算单卡的整体端到端吞吐，反映的是特定模型与部署条件下的系统表现。

另外，根据天数智芯性能实验室的数据，在 GLM-5.3 的 64K 长上下文场景下，保障同等用户体验时，天垓 300 的 MoE 吞吐达到 H200 的 1.15 倍。在 8K 至 128K 长上下文的 Agent 场景中，首字延迟较 H200 降低约 10% 至 30%。

前者关系到系统能够承接多少请求，后者关系到用户发出请求后需要等待多久，它们对应不同工作负载与性能指标。

天垓 300 能够在这些场景中取得性能领先，一个关键是针对实际负载进行了架构优化。

基于天枢架构的天垓 300，单卡显存容量达到 144GB，并围绕 Attention、MoE 等计算环节进行优化。长上下文需要容纳更多状态，也增加了 Attention 计算压力。MoE 虽然通过激活部分专家控制计算量，却带来了小规模矩阵计算、专家分配和数据交换等新问题。

为此，天垓 300 让 Tensor Core 与 Vector Core 并行处理 Attention 中的矩阵运算和 Softmax 等向量操作，同时针对 MoE 中的小规模矩阵、低精度计算与通信协同进行优化。

这些针对性设计，有助于减少不同计算环节之间的等待，把更多硬件资源转化为实际产出。

此次披露的测试与现场演示，展现了天垓 300 进入高端推理实际竞争区间的能力。对客户而言，下一步要比较的，是在同样的响应要求下，系统能承接多少请求、持续运行表现如何，以及需要付出多少设备、电力和运维成本。

推理需求催生专用芯片，GPU 的价值会被削弱吗？

随着推理需求快速增加，以 LPU 为代表的专用推理芯片备受关注，不同计算环节对硬件的要求也进一步分化。

Prefill 处理输入，通常更偏向计算密集型任务；Decode 逐步生成 Token，更容易受到访存、任务启动和同步开销的影响。进一步拆开，Attention 与 FFN 对计算、带宽和存储的需求也不相同。

当某类任务足够稳定、规模足够大，专用芯片就有机会通过针对性设计，获得更好的性能或能效。让一种通用 GPU 处理所有环节，未必始终对应最低的成本。

天数智芯展示的 AFD 分离方案，就是对这种分工的回应。

它在 Prefill 与 Decode 分离的基础上，继续拆分 Decode 阶段的 Attention 与 FFN：天垓 300 承担 Prefill 全流程计算，以及 Decode 中的 Attention；合作厂商的 XPU 承担 FFN 专家网络计算。

运行过程中，GPU 把中间激活数据发送给 XPU，XPU 完成计算后返回结果，继续推进模型生成。天数智芯给出的对比结果显示，在所展示的方案中，Decode 推理延迟降低 60%。

天数智芯 AI 与加速计算负责人单天逸表示：" 未来的 AI 算力系统，不一定由一种芯片包打天下。关键是如何把它们高效组织起来，让整个系统发挥更大的价值。"

异构分工为不同芯片提供了合作空间，GPU 的通用性则关系到系统能否持续适应模型变化。

天数智芯副总裁邹翾对雷峰网表示，专用硬件可以在固定工作负载中实现较大的性能提升，但模型与算法仍在快速迭代，公司坚持以通用框架为基础，结合专用加速能力。

客户采购设备后，需要持续使用，模型结构、算子和精度需求却可能不断变化。GPGPU 平台的通用性提供了继续适配的空间，减少设备与单一计算路径绑定的风险。

强化学习、科学计算和物理仿真，也让计算需求超出了单一推理任务。天数智芯此次展示这些应用，同样体现了 GPGPU 通用架构更广的使用范围。

推理时代，专用芯片可能分走 GPU 的部分计算任务，GPU 仍能凭借通用性参与更广泛的计算。对国产 GPU 而言，找到高效分工的位置，通过互联、调度和软件巩固这种价值，成为持续吸引客户的关键。

从性能展示走向商业化，借 AI 降低软件门槛

异构分工越细，软件需要承担的工作就越多。硬件提供了选择，软件决定这些选择能否变成可交付的服务。

据天数智芯介绍，其已服务 300 多个客户、覆盖 20 多个行业。按照积累的项目经验，客户应用迁移通常在小时以内，性能优化则可能需要数天至一周。

模型跟进与迁移效率，也是影响客户复购的重要条件。为此，天数智芯的软件栈引入了 Agent 与 Skills，降低部署和优化过程中的工程成本。

Skills 把经过验证的步骤、判断方法和验收要求组织起来，Agent 调用已有工具，读取执行反馈，再推进下一步。原本依赖工程师查文档、配环境、读日志和反复试错的工作，有机会部分转化为可复用的流程。

PD 分离部署是一个具体例子。它需要分别配置 Prefill 和 Decode 实例，传递 KV Cache，并打通请求路由与调度。单个组件运行正常，并不意味着整条服务链路已经可用。

按照现场介绍，在所展示的完整模型服务部署案例中，从环境准备到模型正常提供服务，用时由约一小时缩短至约 20 分钟，人工操作减少为两次目标输入。

进一步，Agent 可以结合性能工具提供的轨迹与指标，协助判断瓶颈来自计算、访存、同步还是调度，再选择优化动作。需要修改 Kernel 时，则通过与 FlyDSL 协同，生成候选实现，完成编译、正确性检查和目标硬件上的性能测试。

在软件栈中引入 AI 的重要意义，是让原厂专家的经验能够服务更多开发者。客户规模扩大之后，如果每个项目都依赖专家逐一处理，交付和支持能力就容易成为增长瓶颈。

天数智芯副总裁石加圣强调：" 编译器、运行时、算法库和性能工具仍然是技术底座。"

Agent 让这些积累更容易调用，也需要依靠它们提供真实反馈。对国产 GPU 而言，软件研发方式的变化，有机会缩短新模型适配与性能优化的周期，并将这些能力更快交到客户手中。

端侧 600T 算力的下一代产品已在路上

云端之外，天数智芯此次也展示了彤央端侧产品，并将英伟达 Thor T5000 作为现场实测对比对象。

天数智芯展示的测试结果显示，在 Qwen3.8-27B、Qwen3.6-35B-A3B 等大语言模型中，彤央 TY1200 的性能达到 Thor T5000 的 1.2 倍。在英伟达开源的世界基础模型 Cosmos-R2-8B 测试中，其性能达到 Thor T5000 的 1.8 倍。

彤央 TY1200 提供 300 TOPS 的 INT8 稠密算力。与云端产品类似，端侧竞争也在从标称算力，转向具体模型的运行表现，以及设备能否满足现场业务需求。

现场，TY1200 展示了离线视频生成、合同审核和物理仿真等应用。其中，在 1056 × 608 分辨率下，生成一段 5 秒视频用时约 6 分钟，全程在本地完成。围绕 MicroDuck 机器鸭的演示，则展示了在本地终端上进行物理仿真、策略训练与动作验证的能力。

这些应用对应着不同的部署诉求，企业合同和科研资料需要留在本地，机器人需要在现场完成感知与决策，部分模型任务也开始具备端侧运行的条件。

天数智芯彤央产品市场负责人宋远盈表示：" 云端 GPU 厂商做端侧，不是把芯片做小，而是把能力下沉。" 云端积累的模型压缩、量化和软硬件协同能力，以及编译器、算子库和性能工具，成为其拓展端侧市场的基础。

目前，彤央系列通过算力模组与算力终端两种形态，分别面向自主集成和成品部署需求。天数智芯还预告了下一代端侧产品彤央 TY2000，稠密算力将达到 600T，进一步扩展端侧产品的性能空间。

从云端天垓 300，到天数智算软件栈，再到端侧彤央系列，天数智芯已经形成从云到端的产品布局。云端承载大规模训练与推理，端侧贴近数据和业务现场，软件则将模型适配与优化能力延伸到不同产品形态。

天垓 300 与 H200 的对比，展现了国产 GPU 在部分高端负载中的竞争能力。彤央与 Thor 的对比，则将这种竞争延伸到了端侧。

更完整的产品布局，为天数智芯打开了更多应用入口。能否把性能、软件和交付能力持续转化为客户的实际产出，将决定这套从云到端的布局能够走多远。雷峰网