作者 | 陈骏达
编辑 | 心缘
智东西 4 月 30 日报道，今天，DeepSeek 发布多模态技术报告《用视觉原语思考（Thinking with Visaul Primitives）》，详细阐释了昨日灰度上线的 DeepSeek 识图模式背后的技术细节（DeepSeek 终于能看图了！我第一时间用它算命）。
当前，传统的思维链仍然停留在语言领域，但视觉推理所需要的信息更多。DeepSeek 的新一代多模态推理模型的核心升级就在于，它把纯粹的语言推理链条，升级成了一种 " 语言逻辑 + 空间坐标 " 交织的双轨思维。
当模型对着一张图进行推理时，它是会像人一样，直接输出一个具体的框或者点，在图中精准地 " 指 " 出它当下正在想的那个东西。
DeepSeek 多模态团队负责人陈小康分享了一张动图，形象地阐释了这一运作机制。图中，DeepSeek 多模态模型可以在思维链中使用框进行定位，并在后续的推理步骤中持续引用这些被框定的视觉锚点，基于空间坐标进行下一步判断，极大提升了视觉推理的准确性。
DeepSeek 多模态模型推理过程
在一系列高难度视觉 QA 任务中，这一模型的表现超过了 GPT-5.4、Claude-Sonnet-4.6、Gemini-3-Flash、Qwen3-VL 等模型。
这意味着模型在进行复杂空间推理时，无需在海量视觉信息中反复检索，思考过程的每一步都较为 " 轻量 "。
https://github.com/deepseek-ai/Thinking-with-Visual-Primitives
技术报告：
https://github.com/deepseek-ai/Thinking-with-Visual-Primitives/blob/main/Thinking_with_Visual_Primitives.pdf
一、自然语言存在 " 指代鸿沟 "，视觉标记介入有望破解
这篇论文中，DeepSeek 多模态团队提出了对现有多模态大模型缺陷的洞察。过去，当业界谈论提升视觉模型的推理能力时，几乎所有的努力都集中在 " 感知鸿沟 " 上，也就是让模型 " 看得更清楚 "：通过更高分辨率的图像切分、更精细的动态分块，确保模型不会遗漏图中的细节。
但 DeepSeek 多模态团队认为，即便把这一切做到极致，模型依然会在复杂的视觉推理任务中崩溃。
自然语言在描述连续视觉空间时，天然存在一种 " 指代鸿沟 "：当你说 " 左边那个东西 " 时，在拥挤的场景中，这个 " 东西 " 到底指哪一个，模型无法精确锁定。
于是，模型的思维链条看似环环相扣，实则每一步都存在偏离的风险，一旦涉及到密集计数、多步空间推理或者拓扑导航这种需要逐步推理的任务，逻辑就会因为指代不清而逐渐崩塌。
基于这个判断，DeepSeek 多模态团队尝试让模型在思考时 " 边想边指 "，也就是让模型用点坐标和边界框来 " 指 "，把这些人类的视觉原语，变成模型思维链条上的最小认知单元。
架构层面，这一多模态模型通过 DeepSeek-ViT 负责将图像转换为视觉特征，下图右下方的文本分词器负责处理用户的语言指令，两者输入至基座模型 DeepSeek-V4-Flash 进行推理融合，最后由去分词器输出包含自然语言与视觉原语（如坐标框、区域标记）的联合响应。这种设计使模型兼顾文本理解能力和原生视觉定位能力。
要把点和框变成模型思维的一部分，首先要解决的问题，就是如何让模型真正 " 学会指 "。模型需要把 " 指 " 这个动作内化成一种思维习惯。
为此，DeepSeek 多模态团队构建了一条贯穿预训练、冷启动和强化学习的训练流水线。
在预训练阶段，他们从互联网上爬取了 97984 个与目标检测相关的数据源，设计了自动化的语义和几何质量审查机制，过滤掉乱码标签、不可泛化的私人实体、严重截断的框以及覆盖全图 90% 面积的 " 巨型框 " 等低质量标注，最终筛选出 31701 个高质量数据源，总计超过 4000 万个的精准样本，先让模型掌握基本定位能力。
接下来是冷启动数据构建。DeepSeek 多模态团队针对计数、空间推理、迷宫导航和路径追踪这四类最能体现视觉原语价值的任务，合成了一套带有精确思考轨迹监督的数据。
以计数任务为例，模型被明确教导，在思考时要先批量框选所有候选对象，然后再对这些锚定好的框进行逐一校验和累加。
在迷宫任务中，模型的每一步探索都必须输出一个点坐标来标记当前所在，一旦失误撞墙，整个后续探索在因果上就自动失效，模型必须学会回溯。
这种把视觉原语操作直接整合进思维链的做法，让模型在冷启动阶段就建立起 " 指向 - 推理 " 的强耦合。
三、采用稠密奖励机制，视觉编码压缩比超 7000 倍
有了冷启动模型之后，DeepSeek 多模态团队通过一套 " 训练专家再融合 " 的后训练策略，将模型的能力进一步精细化。其中的创新点在于强化学习阶段的奖励模型。
以迷宫任务为例，奖励分解为探索进度、撞墙惩罚、路径有效性和探索完整性等多个维度。模型每正确探索一个单元格、没有非法穿越墙壁，都会获得正向信号，而一旦发生撞墙，即便最终的答案为 " 可解 "，也会被严格扣分。
这种稠密的奖励机制，让模型必须认真对待每一个视觉原语操作，无法靠猜答案实现奖励破解。
为了同时掌握框定位和点指向这两种视觉原语，该团队还分别训练了两个专家模型，最后通过在线策略蒸馏将它们融合成一个统一模型，让学生模型在自己生成的思维轨迹上，学习两位专家老师的输出分布。这种设计有效避免了两种异构原语在训练中的相互干扰。
值得一提的是，这项工作的技术路线建立在一个高效的视觉编码架构之上。
首先，Vision Transformer 以 14×14 的块大小将图像切分成视觉 token；然后，在 ViT 输出端进行 3×3 的空间压缩，将每 9 个相邻 token 沿通道维度合并为 1 个；最后，利用模型底座 DeepSeek-V4-Flash 自带的压缩稀疏注意力机制，将 KV 缓存中的视觉条目再压缩 4 倍。
以一张 756×756 分辨率的图像为例，它原本会产生 2916 个 patch token，经过三级压缩后最终仅保留 81 个视觉 KV 条目，整体压缩比高达 7056 倍。
这种 token 效率意味着，模型在展开复杂的空间推理时拥有了一份 " 提炼好的索引 "，可以拿着索引直接进行思考，从工程上就减弱了无关像素对推理链路的干扰。
结语：多模态智能的 " 系统二 " 进化
DeepSeek 多模态团队也在报告中提到了当前技术的边界。模型在复杂拓扑推理任务上的跨场景泛化能力尚未完善，且思考中视觉基元的激活目前仍依赖显式的触发词，尚未实现完全的自发调用。
但他们也认为，这套框架为多模态社区展示了通往系统二级别的多模态智能的路径。这一路径没有一味地堆高图像分辨率，而在构建了更精准从参照指标。
用空间坐标锚定抽象思维，让模型像人类一样 " 边指边想 "，这本身就是一个值得继续深挖的方向。
