DeepSeek 最新版 V3.1 被多名开发者实测发现,会在完全不该出现的地方插入「极 / 極 / extreme」等 token。
开源社区用户给出多组复现场景:在 Go 等语言生成里,模型会把词元「粘」到标识符中,`Second` 前随机插入「极 / 極 /extreme」,即便是 `top_k=1, temperature=1` 的保守解码也躲不过。
有人起初怀疑是极低比特量化或校准数据集边缘效应所致,但随后在其它网站的 FP8 全精度 版本也复现了相同问题,说明并非单纯部署层事故。结论:能编过去的代码,突然就编不过去了。
DeepSeek 在更新之后,不是第一次被发现 bug。上一次是针对写作任务上,出现了语言混杂的问题。在代码任务上,则有过拟合的嫌疑。
为什么会出现这种情况,官方还没有出面说明。不过,厂商可能也需要时间排查。
像 Gemini 的情况,后来被定性成为一个循环 bug,安全层—对齐层—解码层交互出了问题。这种情况可能是供应商为了压制冒犯性输出、减少幻觉,会在系统提示或后处理上加规则;这些规则如果和代码场景冲突,可能触发异常的替换、重复或过度道歉,最终演化「情绪化死循环」。
Google 的产品负责人出面解释,这个 bug 正在修复当中,网友们已经开始玩梗了:不行就带孩子看看心理咨询吧。
本质上,还是模型在机械地、基于概率地「拼凑」,而并非真正「理解」文本的含义。当分词结果不理想,或解码过程出现微小扰动时,这种基于概率的拼接就可能出错,将一个不相关的高频词元「污染」到最终的输出中。
大模型的稳定性一直是个问题。今年年初,OpenAI 的社区大量反馈记忆体系异常导致用户历史上下文丢失。
但是一旦链路拉长,哪怕是「看起来无害」的灰度,也可能打破一直以来的平衡。昨天还稳的代理链,今天在函数签名、JSON 严格性、工具返回格式这些「边角位」上崩掉。更麻烦的是,厂商并不总会同步披露这些灰度细节,于是工程师只能靠事故后「猜测 + 对照」。
我们越是试图用规则去修剪和控制 AI,它就越可能从我们意想不到的地方,以一种更荒诞的方式,长出奇形怪状的枝丫。
让 AI 从「能干活」到「能托付」,最关键的到底是什么?
我们总以为是更高的准确率,更强的推理能力,或者是模型层 SOTA 。 DeepSeek 的「极」字 Bug 和 Gemini 的循环事故,都在提醒我们:工程的稳定性不应该被忽略,是那种即使犯错也能被预测和控制的「确定性」。