关于ZAKER Skills GEO服务 合作
老谭电商 3小时前

美团 LongCat-2.5:1.6 万亿参数 , 全程跑在国产算力上

11 月 2 日,美团发布 LongCat-2.5,1.6 万亿参数的原生多模态模型,MoE 架构,支持百万 Token 上下文,官网与 API 同步开放。

参数、上下文、渠道都在意料之中。让人停一下的是那五个字:全程国产算力。

参数规模决定能力上限,算力来源决定能力下限。

「全程国产算力」这五个字最重

这句话限制的是训练最贵的一环。

训练万亿参数模型要的东西很具体:上万张加速卡、高速互联、连续跑几周的作业,还有容错机制——卡坏了换一张,训练不能停。

换成国产卡,难点不在单卡算力,在三个地方:互联带宽够不够,软件栈成不成熟,出问题有没有人能定位。

前两样能砸钱补,第三样只能靠跑过的次数堆。

所以「全程」的分量在这儿:它说的是跑完了,不是试过。跑完一次和跑通几十次,是两个阶段。

把 1.6 万亿参数换算成卡

参数规模这数很抽象,换算一下就有体积了。

1.6 万亿参数,按 FP8 精度存,一个参数一个字节,光权重就是 1.6TB。用 80GB 显存的卡,光把权重装进去就要 20 张——还没算 KV 缓存、激活值和并行通信的开销。实际部署只会更多。

模型能不能落地,不全看参数多少,看要几张卡才抬得动。

百万 Token 上下文,等于一次能塞进一部长篇小说。

换国产设备那年,我最怕的不是慢

我开工厂那会儿换过一批国产设备。换前算的是账:便宜多少、交期短多少。换完才发现,难受的地方跟钱没关系。

是坏了没人能修。进口设备出问题,工程师第二天到;国产的坏了,厂家说寄回去看,来回两周。那两周产线停着,损失比省下的设备钱多得多。

后来怎么办?把每次故障记下来攒成清单,逼供应商按清单改。改了两年,停机次数才降下来。

设备能不能用,不取决于它的参数表,取决于出问题的时候有没有人能接住。

国产算力也在走这段路。跑完一次是里程碑,坏过几次、怎么修的,才是资产。

碰上这种发布,先看三个数

第一个,看激活参数,不看总参数。总参数是仓库里有多少货,激活参数是一次能搬多少。1.6 万亿听着震撼,单次推理动用的可能只是一小部分。两个数差得越远,推理成本越低。

第二个,看它给不给训练卡数和时长。给了说明底气足;只写「全程国产算力」不写规模,说明还在可讲的阶段。真实成本只有卡数乘时长算得出来。

第三个,看 API 定价。官网和 API 同步开放,价格就是它的市场判断:定得低是抢量,定得高是守利润。

眼下最该盯的是接下来一个月的调用量。训练跑完证明能做出来,调用量才证明有人要用。明天你拿到一份发布稿,第一件事就是把训练规模和定价那两行翻出来——参数表是给人看的,这两行才是给自己算的。你们那边最近收到的发布稿,写着卡数吗?

本文由 AI 辅助整理,数据来自公开来源。

相关阅读

最新评论

没有更多评论了

觉得文章不错,微信扫描分享好友

扫码分享

热门推荐

查看更多内容

企业资讯

查看更多内容