关于ZAKER Skills 合作
雷锋网 9小时前

数学大佬在前面拓荒,AI 研究员在后面捡宝,菲尔兹奖还能拿来破 AI「黑盒」?

数学界与 AI 界狠狠联动

作者丨高允毅

编辑丨马晓宁

级别的纯数学硬成果,已经直接落地到大模型训练一线了。

一位小红书作者 Z9 在翻论文时发现,刚刚刷屏全网的三维挂谷猜想,现在被佛罗里达大学团队搬进了神经网络训练流程,跨界解决大模型的 " 黑盒问题 " 了。

他们的论文叫《GeoLAN: Geometric Learning of Latent Explanatory Directions in Large Language Models》,其核心是利用挂谷猜想证明中,诞生的核心概念 " 粘性挂谷集 ",给大模型的内部语义空间立了套 " 摆放规矩 ",从训练阶段就把缠成一团的概念捋顺,让 AI 的思考路径真正变得可追溯。

真可谓,前有数学大佬开荒,后有 AI 研究员捡宝。

01

大模型的底层通病:表征坍塌

先从大家都有体感的 " 黑盒问题 " 说起。

现在的大模型,做题、写代码、做分析正确率都很高,但你问它 " 这一步是怎么想出来的 ",它要么说不清楚,要么直接编个假理由糊弄你。

这个问题的根源,藏在一个叫表征坍塌的底层特性里。

你可以把大模型的语义空间想象成一个几千层的超大智能仓库,理论上能分门别类放下无数概念:逻辑、情感、事实、推理等,各自占位。

但 Transformer 训练的时候特别 " 会偷懒 ",它总爱把所有语义信息都一股脑堆在仓库门口的一小块区域,剩下 90% 的空间全空着不用。

结果就是,所有概念都挤在一个狭窄的高维锥形区域里,这就是学界说的 " 各向异性 "。

而挤成一团的后果会带来很多问题。

比如,概念纠缠会把八竿子打不着的内容硬塞在同一个方向,让一个神经元既要响应 " 猫 ",又要激活 " 圣经经文 "

而且你根本拆不清哪部分表征对应哪条逻辑,连模型自己都没法还原真实思考路径。

当把相近但不同的概念挤在一处,还容易混淆,稍微换个问法,AI 就容易胡说。

对此,论文里有个很精准的总结,少数几个 " 流氓维度 " 霸占了大部分信息方差,把模型的有效容量全浪费了。

这个问题几乎是所有主流 Transformer 架构的弊病,从 GPT、Llama 到 Gemma 无一幸免。

面对这种局面,之前行业的解法基本都是 " 事后补救 ",等模型训练完,用稀疏自编码器之类的工具,把缠在一起的概念强行拆开。

但这种方法拆出来的结果只是 " 看起来合理 ",不一定对应模型内部的真实逻辑,保真度始终打折扣。

现在,GeoLAN 的思路直接换了个方向:别等乱了再整理,刚开始就按规矩摆好。在训练全程给表征空间加几何约束,让每个概念各就各位。

02

挂谷猜想怎么和 AI 扯上关系?

要理解 GeoLAN 的思路,得先知道挂谷猜想在讲什么。

1917 年,数学家挂谷宗一问了一个看似简单,却折磨数学界半个世纪的难题:拿一根 1 厘米长的针,在桌面上转一圈,它扫过的面积最小能有多小?

你可能会想,转一圈嘛,肯定得画个圈,面积小不了。但数学家发现,可以接近于 0。

怎么做到的呢?

如果你让针一边旋转一边滑动,它居然能扫出一个面积几乎为零的奇葩图形。也就是说在二维世界里,你可以把全方位的几何轨迹塞进一个极小的角落里。

挑战进一步升级,如果在三维空间呢?当这根针可以在上下左右、无数个立体方向上旋转,要想把这些全方向的针全部装进一个空间里,这个空间最少需要多大?

按照二维的经验,在三维空间里,这个图形的绝对体积依然可以被压缩到接近于零。

但这里产生了一个新谜题:这个图形虽然空洞得没有体积,但它在微观上是不是也缩水、退化了?数学家引入了 " 分形维数 " 来衡量它的骨架密实度。

最后王虹等人发现,即便你把图形的体积压榨得再空洞,为了照顾到每一个方向的针,它内部交织的骨架依然保持着结结实实的 " 三维饱满度 ",在微观维度上一点都没有退化。这正是王虹终结世纪难题的伟大之处。

正是在这个硬核的证明过程中,诞生了一个极其关键的概念叫 " 粘性挂谷集 "。

" 粘性 " 说白了就是一套防挤规则。它专门用来管住那些线段和管子,不让它们往一块儿凑。

如果一组管子遵守了这套规则,它们就会老老实实铺开,空间该是多大还是多大;但如果它们不守规矩,全挤在一个小角落里,空间的 " 大小 " 就会缩水,看着像被压扁了一样。

看到这儿你应该能对上号了:大模型的表征坍塌,不就是 " 语义管子不满足粘性条件、全挤一块了吗 "?

GeoLAN 做的事,是直接把挂谷猜想的数学结论拿来当工程标准:既然数学上已经严格证明 " 满足粘性,空间不坍缩 ",那我们就给大模型的语义空间也加上同款粘性约束,让它的表征天然就不会挤成一团。

要把这个规则塞进训练过程,核心是造出一个能量化的惩罚函数,也就是能让模型算得出来、知道怎么改的惩罚规则。

然后,GeoLAN 设计了两套能算账的惩罚规则,把挂谷猜想里的几何规矩变成了训练目标。一个叫 KT-CW ,专治 " 语义扎堆 ";另一个叫 KT-Attn ,专治 " 注意力偷懒 "。

KT-CW 简单说,就是训练的时候随机抽查语义空间的各个方向。如果发现某个方向挤了太多语义信息,就给模型扣分。逼着模型把知识均匀铺满整个高维空间的每个角落,把之前浪费的维度全用上,从根上解决 " 挤成一团 " 的问题。

另一套 KT-Attn 则专治注意力机制的摸鱼行为。大模型的注意力头到了训练后期往往会陷入严重的同质化,很多头终日只盯着同一个词同一个位置打转,有效干活的劳动力极少。这条规则强行规定每个注意力头必须关注截然不同的语义区域,确保注意力能够全方向覆盖,彻底根治了注意力头的秩坍缩现象。

这套组合拳打下来,效果可以说是立竿见影。

在 Llama-3-8B 上,GeoLAN 硬生生把原本被挤扁的锥形表征空间揉捏成了圆润的球形,挤在一起的程度显著降低,各方向均匀性大幅提升,同时保持了任务准确率。

在 Gemma-3-4B 上,MMLU 准确率从 0.59 提升到 0.60,约提升 0.75 个百分点。TruthfulQA 语义稳定性显著改善。

在更大体量的 Gemma-3-12B 上,偏见率指标也迎来了统计学层面的明显下降。

更有意思的是,论文还发现了一个叫 " 金凤花区 " 的有趣的现象。

即均匀分布这套严苛的几何约束对于参数量太小的模型反而是一种灾难,小模型天生需要靠概念纠缠来进行极致的语义压缩,强行打散只会让内部几何结构彻底恶化。

而对于体量过大的巨无霸模型,庞大的预训练过程已经自发建立起了极其复杂的流形结构,再加这套规则,不仅水土不服,还会拖累整体性能。

只有像四到八十亿参数这样的中等体量模型,刚好拥有足够的空间来消化均匀分布带来的红利,反而效果最好。

不仅如此,论文还推导出一个精妙的定理 " 语义粘性定理 ":当表征满足 " 防挤规则 " 时,不同的语义概念会自动分解为近似互相垂直的子空间,论文将其形象地称为颗粒。每个子空间可以独立解释、独立调整,这意味着困扰了业界多年的黑盒问题就此变得透明。

一篇 ACL 论文,一把将挂谷猜想从纯数学殿堂拽进了 AI 工程。

03

菲尔兹奖得主,

当天宣布加入 OpenAI

另一个值得注意的是,本次菲尔兹奖得主中,有一个数学大佬 Jacob Tsimerman,在获奖当天直接宣布,未来会很快入职 OpenAI,做 AI 安全方向。

这让人不得不注意前沿数学与 AI 的紧密联系。

就在一年前,他与伯克利 AI 安全研究者 Andrew Critch 合著了论文《A Taxonomy of Omnicidal Futures Involving Artificial Intelligence》,用数学家的极致严谨,为 AI 风险路径搭建起严密的分类体系。

他本人更是 AI 的重度受益者,在 2025 年他有 5 篇数学论文上线 arXiv,直言 AI 让自己的科研产出效率直接翻了一番。

更戏剧的是,在颁奖前三天,有人借助 Anthropic 最新的 Claude Fable 5,一夜推翻了悬置 87 年的雅可比猜想,震动全球数学界。那个人正是他的学生 Levent Alpöge 。

面对 AI 不断逼近甚至超越顶级数学家的 " 智商 ",连数学泰斗蒂莫西公开感叹:这是他生平第一次见到大语言模型在自己完全陌生的领域,轻松攻克家喻户晓的世纪难题。

数学与 AI 的关系,早已经过了密不可分这个词所能描述的范畴,它们正在以惊人的速度融为一体。

回顾过去一年 AI 在数学竞技场上的成绩单,从 DeepMind 的 AlphaProof 在国际奥数赛场斩获银牌,到 OpenAI 的推理模型一举推翻埃尔德什单位距离猜想这桩八十年悬案,再到 GPT-5.6 仅用一小时就搞定循环双覆盖猜想,以及 Claude Fable 5 一夜荡平雅可比猜想,AI 在短短两个月内连续创下多项世纪纪录,而且攻坚的速度正在呈指数级加快。

在 AMS 访谈里,Jacob 直言," 数学界存在大量 ' 自我安慰,大家盯着 AI 现在不如数学家,就推断它永远不如数学家。" 他用自己的实践证明,虽然模型的证明 " 不完整、不严谨 ",但 " 通常能拉出大致正确的方法,帮你走完八成的路 "。

他甚至认为,两年内,AI 在数学证明这件事上,将全面超过人类。

那么问题来了:四年后的 2030 年菲尔兹奖,还会有人类得主吗?

菲尔兹奖有硬性的年龄限制,获奖者必须未满 40 岁。这意味着,如果 AI 在未来四年内系统性超越了人类数学家的原创发现能力,那么评审委员会将面临一个前所未有的困境:你是在把奖颁给做出最好数学工作的人,还是颁给 " 人类中做出最好数学工作 " 的人?

更耐人寻味的,是数学与 AI 的双向加速。 三维挂谷猜想刚被证明,三个月后就诞生了 GeoLAN,纯数学成果直接落地成大模型训练工具。今天菲尔兹奖上表彰的 André-Oort 猜想、希尔伯特第六问题突破,明天又会演化出什么样的 AI 能力?

过去总说,数学家在前头拓荒,AI 在后面捡宝。 但现在,捡宝的那个,已经开始自己开路了。

科技频道

科技频道

科技改变世界

订阅

觉得文章不错,微信扫描分享好友

扫码分享

热门推荐

查看更多内容