关于ZAKER ZAKER智慧云 免费视频剪辑 合作 加入
砍柴网 03-27

文心一言,甩开 GPT-3.5,与 GPT-4 掰手腕?

文 | 智能相对论

作者 | 叶远风

" 请写一个肯德基疯狂星期四的段子。"

" 我女朋友的老公应该叫我什么?"

"XX 微信群的群主与吴彦祖谁更帅?"

......

给几个搞怪的问题,戏耍一下,把答案贴出来,大家嘲讽一番。

在文心一言发布后,这种玩法直到今天还没有停止的意思。

可能连背后的技术与产品人员都没有想到,文心一言会以这样的方式火了下去。

作为国产版 ChatGPT,文心一言在发布后,除了赞誉的声音,以各种形式被批判应该在意料之中,ChatGPT 当初也是如此,这是产品不断进化要经历的过程。

只不过,在没有好坏的定论中,到底要给文心一言当下的技术水准定一个什么样的定义,并没有客观的、更加令人信服的结论。

起码,这种 " 戏耍 " 并不能反映多模态大模型所具备的能力。

ChatBOT 固然可以闲聊,也应该支持用户随便闲聊,但闲聊互动不应该成为一款专业产品能力的最终评价标准。

光怪陆离的问题,就算去询问一个人类智者,得到的答案也是光怪陆离的。

现在来看,以某种更现实的视角去提出问题、实测答案,才更能体现出文心一言的能力和价值。

这种现实的视角应当有很多,其中,以企业信息需求为着眼点,会是其中之一。

这是因为,从文心系列大模型走向对话产品 " 一言 ",或者,从 GPT-3.5 到 GPT-4,ChatBOT 最后都还是要走向商用、服务企业,创造专业价值的。

GPT-4 发布后并没有公布其参数量,这被认为是走向商业化的准备,毕竟 OpenAI 制定的数亿美元营收目标现在快到 4 月份了还没太大动静。

而服务企业,要么提供 " 生产力 " 价值,这是 ChatBOT 场景垂直化后需要探索的内容,在各产业提供具体的工作能力;要么提供信息价值,通过类似 " 上帝之眼 " 的信息整合与逻辑梳理能力,帮助企业消除信息不对称,获取需要的信息。

目前 ChatBOT 的产业应用还未见,因此信息价值就成为可以客观评价的维度。

" 智能相对论 " 团队获得了文心一言的内测账号,以及 ChatGPT 普通版本(基于 GPT-3.5)与 plus 版本(基于 GPT-4)的测试资格,尝试从企业信息获取维度,提出六个关联问题,从各答案中对比出文心一言的实际能力。

总体上,文心一言甩开 GPT-3.5 不成问题,与 GPT-4 能够掰手腕做到有来有回。

具体一个个分析,每个问题下,分别是文心一言、ChatGPT 普通版、ChatGPT plus 版的回答截图。

01、企业数字转型怎么找外部合作伙伴,现在有哪些类型的伙伴可以选择?

可以看出,在三个回答中,只有文心一言提到了选择外部合作伙伴要注意到的几点,然后再例举可以找哪些类型的合作伙伴。

而 ChatGPT 普 F 通版、ChatGPT plus 版都只是直接给出了类型。

这显示出,文心一言在算法上,相较与其他两个产品,对问题的潜在需求认识可能更加深刻。

02、企业应该怎样抓住新的市场机遇?

在这个问题的回答中,很显然,条目的多少,基本上决定了答案的质量。

对一个企业来说,要抓住市场机遇,就应该要找到更多的方法,考验的是 ChatBOT 整合信息并分门别类的能力。

在这里,文心一言超越 GPT-3.5 但略逊于 GPT-4。

03、企业怎么招徕优质人才,有哪些好用的渠道?

与上一个问题类似,条目的多少直观反映了 chatBOT 解决需求的能力。

文心一言远超 GPT-3.5,并超越了 GPT-4,再一次掰赢了手腕。

04、员工的工作效率很低,怎么办?

这一局,相似的判断标准,文心一言继续领先 GPT-3.5,但没有打赢 GPT-4。

05、客户总是不回款,有什么好的办法?

这个问题,由于各个回答都涉及了可能破坏企业与客户关系的行动,因此都进行了一次 " 打补丁 " 式的追问。

基本上,三个模型都很好地领会到了追问的意图,对 " 不和客户关系搞僵 " 有准确的认知,并提供了对应的答案。

其中 GPT-4 的表现超越文心一言。(注意 ChatGPT 有字数限制,plus 版限制在 700 字左右,所以其输出因为字数太多最后被中止)

06、企业资金链紧张,但是银行不肯借钱,怎么办?

吸取上个问题的教训,这个问题直接把限制条件加入到问题当中。

类似上一个问题,三个模型对 " 银行不借钱 " 情形下企业资金链紧张的应对办法都有清晰的认知,规避了银行信贷这一种方式。

其中,文心一言与 GPT-4 打成了平手,都提供了相同数量的方法供企业选择。

总结以上,仅就这六个企业比较关心的专业问题而言,文心一言全面胜过 GPT-3.5,对 GPT-4 两胜、两负一平,典型的你来我往掰手腕。

而更进一步看,实际上在回答条目上的胜负,无关算法本身的设计,在技术上与算法训练的数据量和训练时长有关(要给足够多的食物,也要给足够多的时间去吃食物),后续的竞逐将仍然在数据训练上。

对文心一言而言,发布更晚已经吃了亏,下一步如何在训练上追赶、赶超(可能意味着巨大的成本投入)是百度要考虑的问题。

当然,由于文心系列大模型过去早已具备了丰富的多模态能力,因此文心一言在发布时就自带有 GPT 进化到 "4 代 " 才加入的多模态能力,这一点也常常为业界所忽略。

而 " 智能相对论 " 认为,未来 ChatBOT 的比拼,将很大程度上在多模态展开。

这意味着,当下的文本竞逐,只是一切的开始。

现在,任何的结论,不管是褒扬的还是贬低的,可能都为时尚早。

* 本文图片均来源于网络

此内容为【智能相对论】原创,

仅代表个人观点,未经授权,任何人不得以任何方式使用,包括转载、摘编、复制或建立镜像。

部分图片来自网络,且未核实版权归属,不作为商业用途,如有侵犯,请作者与我们联系。

AI 产业新媒体 ;

澎湃新闻科技榜单月度 top5;

文章长期 " 霸占 " 钛媒体热门文章排行榜 TOP10;

著有《人工智能 十万个为什么》

【重点关注领域】智能家电(含白电、黑电、智能手机、无人机等 AIoT 设备)、智能驾驶、AI+ 医疗、机器人、物联网、AI+ 金融、AI+ 教育、AR/VR、云计算、开发者以及背后的芯片、算法等。

最新评论

没有更多评论了

觉得文章不错,微信扫描分享好友

扫码分享

热门推荐

查看更多内容