关于ZAKER Skills GEO服务 合作
全天候科技 20分钟前

Jev 周末爆了:一个参与造出 GPT 的人,开始反思 RLHF — AI 不该永远需要人盯着

这两天,一个有点反常的 AI 模型突然刷屏了。

它叫 Jev

不会聊天,不写代码,甚至不会像 ChatGPT 一样给你生成一大段答案。它只干一件事:做判断。

但就是这样一个看起来 " 能力被砍了一大半 " 的模型,却突然在开发者圈火了。

有人用它 40 秒分析 724 条实时广告,总共做出 8724 次判断;有人把它接进 Claude Code,专门清理没用的上下文;还有人让它给 AI Agent 当 " 裁判 ",检查任务到底有没有真的完成。LangChain 也已经开始测试 Jev 作为 Agent 评估器的表现。

更夸张的是速度和价格。

TypeSafe 公布的测试中,Jev 最高提速约 193.6 倍,成本最多降低 444.6 倍。输入每百万 Token 只要 0.042 美元,输出 Token 甚至免费。

一个能力看起来更少的 AI,为什么反而火了?

因为到了 Agent 时代,AI 真正需要的可能不只是 " 深思熟虑 ",还有海量、快速、便宜的判断:下一步做什么、该调用哪个工具、任务到底完成没有。更重要的是,这些判断未来需要 AI 自己在后台完成,不再需要人一直坐在屏幕前盯着。Jev 看上的,就是这些每天可能发生几百万次的小决定。

更有意思的是,Jev 模型创始人 Diogo Almeida,恰恰参与过 RLHF,而现在他开始反思 RLHF:这套让 ChatGPT 变得好用的训练方式,可能并不适合 AI 真正走向自动化。

一个多月前,Almeida 做过一场演讲。现在回头再看,那场演讲几乎就是 Jev 的 " 思想说明书 "。

01 AI 都会做高等数学了,为什么还做不好客服?

Diogo Almeida 的履历很特殊。

他曾在 OpenAI 工作,是 GPT-4、ChatGPT 以及 InstructGPT/RLHF 相关工作的参与者。也就是说,他曾亲手参与构建了今天大模型最重要的一套后训练范式。

但在那场演讲里,他上来就调侃自己,是 OpenAI 内部少数几个公开 " 黑 "ChatGPT 的人之一。

他的演讲主题更加直接:What's Next After RLHF?

Diogo 先提出了一个看起来很矛盾的问题。

今天的大模型已经可以挑战非常难的数学题,代码、推理和各种 benchmark 一路往上走。

可到了很多企业真正想自动化的业务里,人却始终拿不掉。

比如客服。

让 AI 查资料、总结文档、起草回复,没问题。

但如果让 AI 自己决定:这笔钱到底退不退?这个用户要不要赔偿?

企业一下就谨慎起来了。

明明这些事情看起来比高等数学简单得多,为什么反而不敢交给 AI?

Diogo 给出的答案很简单:Today's AI is incredible at assistance, not automation.

今天的 AI 很会帮你干活,却还不太能自己把活干完

这两件事看起来只差一点,实际上完全不同。

Claude Code 再强,你通常还是坐在电脑前。它写代码,你看;它改文件,你检查;错了,你再让它改。

所以在 Diogo 看来,Claude Code 依然属于 ChatGPT 开启的 " 协助时代 "。

真正的自动化是什么?

人根本不在场。

AI 在后台自己判断、自己执行,一天可能运行几十万甚至几百万次,你甚至永远不会看到它做了什么。

问题也就来了:为什么今天的 AI 这么聪明,却偏偏离不开人?

Diogo 把矛头指向了一个自己非常熟悉的东西——RLHF。

02 我们训练 AI 的时候,就把人塞进了回路里

这件事多少有点讽刺。

因为 RLHF,恰恰是 Diogo 当年参与推动的技术路线之一。

RLHF 的基本逻辑其实不复杂:收集人的偏好,然后让模型越来越符合人的偏好。

所以 Diogo 在演讲里给出了一个非常直白的解释:为什么今天的大模型总需要有人在回路里?

因为训练它的时候,我们字面意义上就把人塞进了那个回路里。

模型从一开始就在学习:什么样的回答,人更喜欢?

这也解释了大模型一个我们已经非常熟悉的特点——哪怕不知道,它也经常能说得特别像那么回事。

Diogo 在现场举了一个很损的例子。

有人给 ChatGPT 发了一段放屁的录音,告诉它这是自己创作的一首音乐,请它 " 真诚、坦率 " 地评价。

结果 ChatGPT 一本正经地夸了起来,说这是一首很有阴森、诡异氛围感的环境音乐。

Diogo 甚至用了一句话总结:"Overpromising is a feature."

过度承诺不是 Bug,是 feature。

对于聊天产品来说,这未必致命。用户还在屏幕前,错了可以纠正。

但真正的自动化系统完全不同。

机器不关心你的回答好不好听,它只需要知道两件事:到底该怎么做,以及你到底有多大把握?

这也就解释了,为什么一个多月后发布的 Jev,看起来会如此反常。

03 所以,Jev 干脆不让 AI" 说话 " 了

普通大模型哪怕最终只需要回答 "A 还是 B",往往也要经过生成 Token 的过程。

Jev 直接把这部分砍掉。

它目前主要做三件事:

Noul,回答 Yes 还是 No;

Choice,从几个选项里选一个;

Score,按照标准打分。

然后直接返回判断和概率

不给你写小作文,也不陪你聊天。

官方公布的端到端延迟低至 70 — 500 毫秒,相比前沿模型快 20 — 200 倍,价格低 40 — 400 倍。

但真正关键的,其实不是 " 快 ",是后面那个概率

为此,TypeSafe 提出了一套新的训练方法:RLCD,Reinforcement Learning for Calibrated Decisions,校准决策强化学习。

它想解决的问题非常现实:如果 AI 告诉你一件事有 80% 的概率发生,这个 80% 到底能不能信?

理想情况下,模型判断为 80% 概率的一批事情,最后就应该大约有 80% 真的发生。

这在自动化系统里非常重要。

99% 的把握,可以直接执行。

51% 的把握,可以扔给更强、更贵的大模型,甚至转给人。

真正麻烦的不是 AI 不知道,是 AI 不知道自己不知道。

所以 Jev 真正想改变的,是 AI 输出的对象。

过去 ChatGPT 生成的答案,主要是给人看的。Jev 给出的判断和概率,则是准备直接交给软件用的

04 Agent 时代,可能需要的不是一个更大的大脑

这也解释了为什么 Jev 偏偏在现在火了。

因为 Agent 真正运行起来以后,会产生海量的小判断:

下一步调用哪个工具?这个网页该点哪个按钮?这条信息还有没有用?任务到底完成没有?结果要不要重新检查?

这些问题单个看都不难,但一个 Agent 一天可能需要判断几十万、几百万次。

如果每一次都叫最强的大模型,花几秒钟 " 深思熟虑 ",再吐出一大段 Token,成本和延迟很快就上去了。

Jev 想抢的,就是这一层。

大量高频的小决定交给 Jev,真正需要复杂推理的任务,再交给大模型。

这也是为什么 TypeSafe 把 Jev 叫做 System One Model

这个概念来自丹尼尔 · 卡尼曼的 " 系统 1" 和 " 系统 2":一个负责快速、直觉式的判断,一个负责慢速、复杂的思考。

Jev 甚至连名字都来自 " 杰文斯悖论 ":

一种资源变得越来越便宜,人们未必会少用,反而可能用得更多。

如果调用一次 AI 很贵,你只会把它用在最重要的地方。

但如果一次 AI 判断便宜到几乎可以忽略呢?

一封邮件、一条日志、一次工具调用、一个网页按钮、Agent 执行的每一步,都可能加入一次 AI 判断。

当然,现在就说 Jev 代表下一代 AI,还太早。

它所谓的 " 零幻觉 ",更多意味着不会跳出规定的答案类型乱编,不代表不会选错;193.6 倍、444.6 倍这样的极端数据,也主要来自 TypeSafe 自己的测试。

但 Jev 这次爆火真正值得关注的,可能不是它能不能挑战 GPT 或者 Claude。

而是一个参与造出 ChatGPT 的人,正在重新追问一个更底层的问题:

过去几年,整个行业都在想,怎样让 AI 想得更久、说得更多。

但如果未来真正需要的是几十亿次机器之间的判断,AI 为什么每一次都要先 " 说一段话 "?

ChatGPT 教会了机器怎么和人说话。

而 Jev 押注的下一步是:当人不再坐在屏幕前,机器能不能自己做决定?

全天候科技

全天候科技

提供专业快速完整的科技商业资讯

订阅

觉得文章不错,微信扫描分享好友

扫码分享

企业资讯

查看更多内容