（来源：智能计算芯世界）
DeepSeek 最新模型 V4 预览版本正式上线并同步开源，包括两个 MoE 语言模型—— DeepSeek-V4-Pro（总参数量 1.6 万亿，其中激活参数为 490 亿）和 DeepSeek-V4-Flash（总参数量 2840 亿，其中激活参数为 130 亿），两者均支持长达一百万 token 的上下文长度，DeepSeek-V4 系列在架构与优化方面进行了多项关键升级。
当大语言模型的能力边界不断向超长文本理解、复杂智能体推理、全链路任务自动化延伸时，行业早已达成共识：上下文长度不再是 " 越长越好 " 的噱头，而是能装、能跑、能稳、能强的系统性挑战。传统 Transformer 的平方级注意力开销、深层网络的信号衰减、万亿模型的训练不稳、长文本推理的资源爆炸，像四道枷锁，把百万 token 上下文困在实验室里，难以落地。
而 DeepSeek-V4 系列的诞生，正是为了彻底打碎这套枷锁。这不是一次简单的参数堆料与版本迭代，而是从注意力架构、残差连接、优化器、训练推理全栈基建出发的底层重构，让百万 token 上下文从 " 难以负担 " 变成 " 高效可用 "，让开源模型第一次在全能性能 + 超长上下文效率上，真正站上对标闭源顶尖模型的舞台。
一、百万上下文，到底难在哪？
过去几年，大模型的上下文从 8K 冲到 128K 再冲向 1M，但绝大多数模型都困在同一个死结里：长度上去了，速度崩了，成本炸了，精度掉了。
原生注意力的复杂度是绕不开的原罪。文本越长，计算量与缓存呈指级上涨，单卡根本跑不动；深层网络的残差连接容易信号衰减、训练震荡，万亿 MoE 模型更是动不动就 loss spike；长文本检索容易 " 只见森林不见树木 "，局部细节丢失、远距离关联失效；部署时 KV 缓存暴涨，普通业务完全用不起。
DeepSeek-V4 没有走 " 加长上下文但牺牲效率 " 的老路，而是直接瞄准高效百万上下文这一核心目标，推出两款定位清晰的 MoE 模型：
DeepSeek-V4-Pro：1.6T 总参数，激活 49B，全能旗舰，重新定义开源 SOTA；
DeepSeek-V4-Flash：284B 总参数，激活 13B，极致高效，轻量却能打。
左侧：DeepSeek-V4-Pro-Max 与同级别模型的基准测试效果
右侧：DeepSeek-V4 系列与 DeepSeek-V3.2 的推理计算量（FLOPs）和 KV 缓存大小对比
在 100 万 token 场景下，Pro 的推理计算量仅为上一代 V3.2 的 27%，KV 缓存只剩 10%；Flash 更是做到 10% 计算量、7% 缓存，把百万上下文的硬件门槛直接拉低到工业可用区间。
二、三大技术架构创新，从根上解决效率与稳定性
V4 的强大，从来不靠参数堆彻，而是三处直击本质的架构创新，每一处都解决 Transformer 诞生以来的遗留顽疾。
1. 混合注意力 CSA+HCA：把长文本计算 " 压到极致 "
为了干掉注意力的平方复杂度，V4 放弃原生注意力，独创压缩稀疏注意力 ( CSA ) + 重度压缩注意力 ( HCA ) 混合架构。
混合注意力架构不是继续沿用标准 dense attention，而是把注意力拆成两类，CSA 先把 KV 沿序列维压缩，再做稀疏选择；HCA 则用更激进的压缩，但保留 dense attention。两者交替使用，目标是同时兼顾局部依赖、全局检索能力和极端长序列下的成本控制。
此设计不是单点优化，而是从 attention 结构层面重写了长上下文的成本函数，因此能把 1M context 真正做成系统级可运行方案。在 100 万 token 场景下，V4-Pro 的单 token 推理 FLOPs 只有 DeepSeek-V3.2 的 27%，KV cache 只有 10%，V4-Flash 更低到 10% FLOPs 和 7% KV cache。
DeepSeek-V4 系列整体架构：
在注意力层采用 CSA 压缩稀疏注意力与 HCA 重度压缩注意力的混合结构，在前馈层使用 DeepSeekMoE 架构，并通过 mHC（流形约束超连接）增强传统残差连接。
CSA 负责 " 精细检索 "：每 4 个 token 压缩成 1 组，再用稀疏索引只关注最相关的片段，兼顾精度与速度；CSA（Compressed Sparse Attention，压缩稀疏注意力）主要有以下效果：
1）Compressed（压缩 KV）：假设原来有 100 万个 token，每个 token 都有自己的 KV。CSA 不再保留 100 万个独立 KV，而是每隔一组 token 把它们压缩成一个 " 压缩 KV 条目 "。CSA 会把每 m 个 token 的 KV cache 压缩成一个 entry，从而把序列长度压缩到原来的 1/m；
2）Sparse（稀疏选择）：压缩后当前 token 不是把所有摘要块都看一遍，而是通过一个轻量级 indexer，先判断哪些压缩块最相关，然后只选 top-k 个块进入真正的 attention。用 indexer 给压缩 KV 块打分，再用 top-k selector 选择一部分压缩 KV 进入后续核心 attention，即 Lightning Indexer for SparseSelection。
HCA 负责 " 全局压缩 "：每 128 个 token 合成 1 组，做极致压缩，砍掉所有无效计算；再补上滑动窗口保留局部细节，搭配注意力槽稳定信号。
CSA 核心架构：它将 KV 条目数量压缩至原来的
1/m，再通过深度求索稀疏注意力（DeepSeek Sparse Attention）进一步加速。同时，会将一小部分滑动窗口 KV 条目与选中的压缩 KV 条目结合，以增强局部细粒度依赖建模能力。
最终效果堪称震撼：100 万 token 上下文，V4 的 KV 缓存仅为传统模型的 2%，计算量骤降一个数量级，却不丢失关键信息，长文本检索与理解稳得住、跟得准。
2. mHC 流形约束超连接：让深层模型 " 稳得住、传得通 "
模型越深，信号越容易衰减、训练越容易崩，这是所有大模型的通病。V4 直接升级残差连接，引入 mHC 流形约束超连接。
它把残差映射约束在双随机矩阵流形上，保证信号不扩散、不爆炸；动态生成参数，输入自适应调整；再用 Sigmoid 与 Sinkhorn-Knopp 算法做数值约束。
简单说：传统残差是 " 单通道窄路 "，mHC 是 " 多车道高速 + 智能限速 "，既提升表达能力，又彻底稳住深层训练，让 61 层的 Pro 模型深而不崩、稳而强劲。
3. Muon 优化器：让训练 " 收敛更快、波动更小 "
V4 换掉主流的 AdamW，主力模块改用 Muon 优化器，搭配混合牛顿 - 舒尔茨迭代做正交化更新。Muon 的核心思路是对矩阵参数使用基于正交化的二阶优化，让权重更新方向更精准。
它让梯度更新更规整、矩阵更新更稳定，收敛速度更快，训练波动大幅降低，从根源上缓解万亿 MoE 模型的震荡与崩点。配合自适应权重衰减、Nesterov 加速，让以前 " 摸着石头过河 " 的训练，变成 " 走在精准轨道上 "。
不是简单换了个优化器，而是把 Muon 作为大部分模块的主优化器，同时保留 AdamW 给 embedding、norm、head 等部分，再配合 hybrid Newton-Schulzorthogonalization 去提升收敛和稳定性。
三、全栈基建优化，让创新真正落地可用
好架构必须配好工程底座，V4 的基建优化同样堪称教科书级别，把 " 论文强 " 变成 " 能用、好训、好推 "。
细粒度专家并行：把通信与计算完全重叠，隐藏延迟，多卡效率最高提升近 2 倍，开源 MegaMoE 内核；
TileLang 专属内核：用领域专用语言快速生成高性能融合核，开发快、运行稳、开销低；
FP4 量化感知训练：专家权重与检索路径直接 FP4，内存减半、速度翻倍，无损精度；
异构 KV 缓存管理：专为混合注意力设计，支持磁盘缓存、前缀复用，长文本部署成本再腰斩；
批不变 + 确定性内核：训练、微调、推理全链路比特级一致，调试更稳、上线更放心。
这套底座让 V4 不只是实验室模型，更是可以大规模训练、低成本部署、稳定服务的工业化产品。
四、先专精，再融合，打造训练全能选手
V4 的后训练流程彻底颠覆传统，放弃混合 RL，改用 " 领域专家专精训练 + 多教师在线蒸馏 " 两阶段范式。
先针对数学、代码、智能体、指令跟随等领域，分别训练垂直专家，用 GRPO 强化学习把单项能力拉满；再通过在线策略蒸馏，把十几个专家的能力 " 融 " 进一个模型，避免传统权重合并的性能损耗。
最终模型既能做数学大神、代码高手，又能做写作专家、智能体管家，样样通、样样强。
五、开源天花板，DeepSeek v4 贴近闭源第一梯队
纸面架构再强，最终要看真实战力。V4 系列的测评结果，直接刷新开源模型上限：
知识能力：SimpleQA、中文知识任务大幅领跑开源，逼近 Gemini-3.1-Pro；
推理与数学：Codeforces 竞技水平跻身人类前 25%，IMO、HMMT 等硬核数学任务追平闭源；
代码能力：LiveCodeBench 超越闭源模型，代码智能体接近 Claude Opus 水平；
长上下文：100 万 token 场景 MRCR、CorpusQA 超越 Gemini-3.1-Pro，仅次于 Claude；
智能体：终端任务、软件工程师、工具调用全面对标一线开源，逼近闭源；
中文能力：公文、写作、文案胜率超过 Gemini-3.1-Pro，职场专业任务不输 Claude。
可以说，DeepSeek-V4 是第一个在全能能力与超长上下文效率上，同时追上闭源第一梯队的开源模型。
六、百万上下文，从概念走进现实
DeepSeek-V4 最珍贵的价值，是把 100 万 token 上下文从概念变成实用能力：
法律 / 金融 / 科研：一次读完整份合同、财报、论文集，直接分析、对比、生成报告；
软件开发：通读整个代码库，自动理解架构、修复 bug、迭代功能；
多轮智能体：保留全链路思考痕迹，复杂任务不中断、不遗忘；
内容创作：长篇小说、行业方案、多轮修改，一气呵成。
以前这些场景要么切分文本丢信息，要么慢到无法用，现在 V4 可以流畅、高效、高精度完成。
七、总结：开源大模型，百万上下文时代已来
DeepSeek-V4 没有堆砌术语，没有盲目堆参数，而是用扎实的架构创新 + 全栈工程优化，解决了行业最痛的长上下文效率难题。
它证明：开源模型完全可以在能力、效率、成本三个维度，同时挑战闭源顶级产品。百万 token 不再是闭源专属，超长上下文不再是奢侈功能，复杂智能体与全文档处理，终于能低成本、规模化走进千行百业。
这不是一次版本迭代，而是开源大模型走向工业化、实用化的里程碑。属于百万上下文的新时代，真的来了。
报告链接：
https://huggingface.co/deepseek-ai/DeepSeek-V4-Pro/blob/main/DeepSeek_V4.pdf
本文资料都已上传至 " 智能计算芯知识 " 星球，更多内容参考自 "OpenClaw 技术合集（80+ 份）"，提供打包下载，内容持续更新 ...
温馨提示：请通过 " 扫码 " 和 " 阅读原文 " 加入星球，获取 OpenClaw 合集，以及更多（芯片、大模型、AI、超节点、具身智能、算力、HBM、CXL 等等 ...）资料合集。
