关于ZAKER 合作
量子位 2024-12-16

Kimi 版 o1 实装上线,这里是我们的一手测试

Kimi 数学模型刚发布没几天,全新视觉思考模型就来了,且发布即上线可用

模型代号k1,据官方介绍,基于强化学习,k1 原生支持端到端图像理解和思维链技术

因此," 解锁了包括几何图形题在内更加全面的数学能力 "。

图片源自 " 月之暗面 Kimi" 公众号

并且 k1 的思考能力不仅仅局限于数学领域,正所谓 " 学好数理化,走遍天下都不怕 "。

在官方晒出的数理化基准测试中,Kimi k1-preview 表现全面超越 OpenAI o1、GPT-4o、Claude 3.5 Sonnect。

图片源自 " 月之暗面 Kimi" 公众号

这次 Kimi 新模型的发布还是直接上线可玩的那种,APP 或是网页版找到 "Kimi 视觉思考版 " 即可点击使用。

既然如此,这就赶紧来实测一波~

先来一道考研数学真题小试牛刀,这道题目涉及的知识点包括曲面积分、高斯定理等:

之前在量子位的实测中,这道题难住了 GPT-4o。

而 Kimi 视觉思考版经过一步步详细推理,第一次就给出了正确答案。

它自己也表示进行了检查没有错误,"对这个答案非常有信心"。

再来一道曾经测试过 o1 的数学概论题。

Kimi 视觉思考版也一次就做对了:

接着是一道高考几何真题:

面对这道题,Kimi 视觉思考版解答过程并不顺畅,进行两次尝试后,还是没能给出正确答案√ 3/4。

此外值得一提的是,大模型目前的数学能力还是没有达到FrontierMath数学基准的及格线。

当然,FrontierMath 基准也确确实实是有点难为 AI 了,毕竟它出自陶哲轩在内的 60 多位顶尖数学家之手,一众顶流大模型正确率通通不到 2%

如下面这道素域连续扩展问题,难度还只是基准中的 " 中等 "。

出于好奇,我们让 Kimi 视觉思考版尝试了一下(万一能做对呢)。

Kimi 视觉思考版逐步拆解了一通,也终究没能解答正确。

数学能力看完后,再来小试一下物理题。

下面这道题是大学物理中的光学题:

Kimi 视觉思考版回答对了第一小题,但第二小题没做对:

再来看下面这道高考物理题:

Kimi 视觉思考版同样只答对了一问,第二小问做对了,第一小问答错:

不过,o1 也犯了同样的错误,只答对了一题。

最后再来看看做 " 化学题 " 怎么样(doge):

Candy, Happy, Bacon, Scary, Brain, House

Which is the odd one?

Hint: Chemistry

Kimi 视觉思考版的解释虽然有理有据:

但 " 标准 " 答案是:

此外值得一提的是,除数理化视觉推理能力,官方还表示 Kimi 视觉思考版在" 噪声 " 场景,即拍摄图片模糊、手写字迹潦草等情况下,性能损失幅度较小。

你觉得 Kimi 新模型的表现如何?感兴趣的童鞋不妨亲自上手考考它~

点这里关注我,记得标星哦~

一键三连「分享」、「点赞」和「在看」

科技前沿进展日日相见 ~

相关标签

觉得文章不错,微信扫描分享好友

扫码分享