关于ZAKER Skills GEO服务 合作
智猩猩 3小时前

Kimi K4 被曝冲上 5 万亿参数级 ,K3.5 最快明年初推出 !

智猩猩 AI 整理

编辑:林夕

Kimi K3.1 Pro 发布还不到一个月,月之暗面的下一代模型已经传出了新消息。

近日,社区流传的一份路线图显示,Kimi K4 的总参数或达 5.4 万亿,接近 K3 的两倍。

按网传时间表,K4 最早可能在 2027 年第二季度亮相,晚则第三季度。

在它之前,月之暗面还可能先推出K3 Flash 和 K3.5。

K4 的消息,7 月就有了,当时 Kimi K3 刚发布不久,已有知情人士透露,月之暗面正在讨论一款规模明显更大的下一代模型,并为后续训练寻求更多英伟达 Blackwell 算力。

那时传出的消息还没有给出参数规模和发布时间。

这次流传的数字是5.4 万亿,以官方披露的 Kimi K3 总参数2.8 万亿为基数,K4 的总参数将达到 K3 的1.93 倍。

如果数字属实,国产旗舰模型也将迈入5 万亿参数级。

这也让外界把 K4 和 Anthropic 的Claude Mythos、Fable放到一起讨论。

外界有估算将这两款模型放在 5 万亿参数以上,但 Anthropic 未公开具体数字。

对 K4 来说,更具体的比较要等模型发布后才能做:

同一项长程编程任务,能不能自己读懂代码库、反复调用工具、跑完测试,最后交出可用的结果?

训练算力也在这轮爆料里被提到。X 上有帖子称,K4 可能使用H100、H200 和 B200集群。

在 K4 之前,离用户最近的可能是K3 Flash。据报道,这款轻量版最快在今年年底推出,可能接替 Kimi K2.8,与 DeepSeek V4.1 Flash 竞争。

K3 Flash 的参数规模、API 价格和生成速度目前都还没有公开。

再往后是K3.5,它可能在 2027 年第一季度、春节前后亮相,总参数维持在3 万亿级。

这轮爆料还提到一个数字:K3.5 的后训练数据规模可能达到10 万亿 Token。

与这个数字一起流传的,还有自蒸馏和模型压缩。

按 X 上的说法,K3.5 的一个目标是用更少的思考 Token 完成同样的任务。

拿编程 Agent 来说,修一个复杂 Bug 往往要反复读文件、改代码、跑测试。

如果模型每轮推理都能少生成一些 Token,整项任务的用量也可能跟着降下来。

月之暗面已经在 K3.1 Pro 上加大了后训练投入。10 月 24 日,Kimi 发布K3.1 Pro。

官方技术博客披露,这款模型在 K3 的基础上增加了后训练算力,并在数百个下游领域开展联合强化学习,重点提升代码、3D 创作、金融研究和长程 Agent 能力。

官方模型卡还披露,K3.1 Pro每生成一个 Token 激活 1040 亿参数,支持100 万 Token 上下文。

K4 如果继续采用 MoE 架构,5.4 万亿总参数之外,还要看每个 Token 实际激活多少参数。

到了长程任务里,模型最终生成多少 Token,也会影响一次调用的耗时和成本。

如果 K3.5 如传闻所说先于 K4 亮相,届时可以先做一个实测:

拿同一项需要多轮修改和验证的编程任务,看 K3.5 能不能用更少的 Token,交出比 K3.1 Pro 更可靠的结果。

至于 K4 能否追上 Mythos、Fable,也要放到这样的任务里见分晓。

关注 + 星标,获取 AI 前沿进展与开源一线动态

相关阅读

最新评论

没有更多评论了

觉得文章不错,微信扫描分享好友

扫码分享

热门推荐

查看更多内容

企业资讯

查看更多内容