本文来源:时代财经
11 月 16 日,腾讯混元最新语言模型 Hy4 flash 发布,模型总参数量为 224B(其中 64B Engram 参数),激活参数仅为 12B,支持多模态和 1M 上下文长度。Hy4 flash 是迄今为止最高性价比的 Hy 模型:每百万 Token 输入 0.5 元、输出 2 元,命中缓存时仅需 0.02 元,单任务成本仅为 Hy4 的二十分之一。
为了达到极致的性价比,同时兼顾智能水平和实用性,混元团队做了以下工作:预训练阶段,Hy4 flash 加入混合注意力、LatentMoE(稀疏框架)等特性,使 KV cache(键 - 值缓存)大小仅为 Hy4 的六分之一;后训练阶段,通过自蒸馏 Hy4 获得了较强的综合智能水平,再通过强化学习使端到端任务输出长度降低 50%;在评估阶段,聚焦日常工作的产物效果、单轮输出长度,而非远离日常工作的榜单分数;在推理阶段,通过极致优化,使 Hy4 flash 解码速度超过 150tps,可大规模低成本部署运营。
Hy4 flash 已在腾讯云 TokenHub、WorkBuddy、元宝、企业微信、QQ、ima、Marvis 等产品上线。11 月 30 日前,用户可在 WorkBuddy 限时免费使用,腾讯云 TokenHub API 限时 5 折使用。