日前,月之暗面方面宣布正式开源 Kimi K3 模型,并同步发布模型权重、技术报告,此外还开源了支撑 Kimi K3 训练的三项关键 Infra 技术 MoonEP、FlashKDA、AgentEnv,覆盖从高性能通信、高性能算子到分布式 RL 环境的关键链路。据悉,这也是 Kimi K3 自本月早些时候发布以来,完整开放模型及相关技术。

模型架构方面,Kimi K3 进一步提升了 Mixture of Experts(MoE)的稀疏度,结合 Stable LatentMoE 框架后,可在 896 个专家中高效激活 16 个。官方公布的数据显示,与 K2 相比,K3 整体扩展效率提升约 2.5 倍。此外,Kimi K3 还具备长程编码能力,可处理大型代码库、持续执行长时间工程任务,并支持结合截图等视觉信息完成游戏开发、前端开发、CAD 等软件工程场景任务。

【本文图片来自网络】