作者 | 云鹏
编辑 | 李水青
智东西 8 月 5 日消息,今天上午,华为轮值董事长徐直军正式宣布 CANN 全面开源开放,就在昨日,华为还开源了三款盘古模型,参数规模为 1B、7B 和 718B。
其中参数规模 7180 亿的盘古 Ultra MoE 模型最早在今年 5 月 30 日首次官宣,发布之初曾受到业内高度关注和热议。
CANN 的全称是 Compute Architecture for Neural Networks(神经网络计算架构),这是华为针对 AI 场景开发的异构计算架构,其可以提高华为自家昇腾 AI 芯片在处理 AI 任务时的效率。
徐直军称,Mind 系列应用使能套件和工具链会全面开源,支持用户自定义开发。
回到华为刚刚开源的三款模型,它们分别是
openPangu-Embedded-1B-model、openPangu-Ultra-MoE-718B-model、openPangu-Embedded-7B-model。
三款新开源模型下载地址:
https://ai.gitcode.com/ascend-tribe/openpangu-embedded-1b-model
https://ai.gitcode.com/ascend-tribe/openpangu-embedded-7b-model
https://ai.gitcode.com/ascend-tribe/openpangu-ultra-moe-718b-model
根据 Gitcode 发布信息,openPangu-Embedded-1B 基于昇腾 NPU 从零训练,模型结构为 26 层 Dense 架构,训练了约 10T tokens,是一个为端侧设备运行而设计的高效快思考语言模型,支持昇腾 Atlas 200I A2。
Gitcode 页面给出了该模型测评结果,但并没有横向类比:
架构方面,openPangu-Ultra-MoE-718B 采用了 Multi-head Latent Attention(MLA)、Multi-Token Prediction(MTP)、大稀疏比等架构,以及一些特有设计:
· Depth-Scaled Sandwich-Norm 和 TinyInit:通过调整层归一化结构与参数初始化,提升训练稳定性。
· 基于 EP-Group 的负载均衡策略:通过优化负载均衡损失函数,改善专家特化效果。
其测评结果如下:
其中基于 4000 颗昇腾 NPU 并行训练的盘古 Pro MoE 在 MMLU、C-Eval、GSM8K 等多种基准测试中,性能超越 Qwen3-32B、GLM-Z1-32B 等主流开源模型。其在昇腾 800I A2 上单卡推理吞吐性能可达 1528 tokens/s,显著优于同等规模的 320 亿和 720 亿个参数的稠密模型。
昇腾 CANN 作为连接华为 AI 硬件和上层应用开发生态的关键技术,其进一步提高开源程度必然会有助于华为昇腾 AI 生态的成长,吸引更多开发者加入。盘古大模型的进一步开源,侧面与之形成协同。
当前国内 AI 赛道火热,AI 芯片、AI 大模型企业众多,在自主可控成为行业关注焦点之一的大背景下,华为昇腾 AI 芯片 + 盘古大模型成为一条可行技术路径。