关于ZAKER 合作
雷锋网 昨天

WAIC 最强亮点:非 Transformer 离线 AI 大模型已大规模量产,大模型商业比我们想得更快

Rock 是石头,石头是这个世界最基本的组成元素,坚硬、基础、随处可见。

RockAI 希望成为智能世界的石头。

01

离线智能

据 AI 科技评论了解,在发布的 18 个月里,已经有量产设备搭载了 Yan 的大模型能力,这让这个以非 Transformer 路线著称的大模型建设者,一跃成为端侧智能中不可忽视的重要玩家。

如果打开官网,你第一眼就会看见醒目的一行大字,那是它给自己定义的使命:" 让世界上每一台设备拥有自己的智能 "。RockAI 联合创始人邹佳思对 AI 科技评论说,这句话里其实有两个关键词," 每一台设备 " 和 " 自己的 "。

前者意味着一个更高兼容能力、成本更友好、能力更普惠的设备,而后者则意味着一个拥有自主进化能力、不断生长的、可以广泛交互协作智能终端。

这不仅意味着 RockAI 在走一条非 Transformer 的智能岔路,也在走一条并不激进推高智能上限的技术小径。

但邹佳思不同意这是一条小径。

" 端侧是一个庞大的市场 ",他说," 这是世界上绝大部分人都需要的智能 "。这不仅是因为,这是一个发展中国家人口主导的世界,它意味着也是因为人与智能的关系是需要体面的。

这种体面的方式之一就是离线的智能体。离线是端侧的潜台词,这意味着它只属于用户本人,不会将用户的数据上传到某个庞大冰冷轰鸣又陌生的服务器里,而只躺在用户最熟悉的被卡通硅胶壳包裹的手机里,拉丝金属制成的电脑里。

端侧很难,离线很难,但只端侧离线又是不够的。

小路也是路,是路就必须走。

邹佳思说,从 1.3 发布以来,干的最多的一件事情:踩坑。踩技术的坑,踩场景的坑—— Yan 落地量产设备量是这么来的,Yan 2.0 Preview 也是这么来的。

自从 1.3 发布以来,不断有人问:2.0 什么时候来?为什么还不来?如果来了,会长什么样?

RockAI 选择在 WAIC 交出一个初步的答案:

Yan 2.0 Preview。

这符合 RockAI 一贯以来的谦逊,Yan 2.0 Preview 是这家公司的第四代产品,在此之前是 1.0、1.2、1.3。他们拒绝像 Transformer 社区等科技世界常见的那样,将性能提升作为每一代产品的差异。

然而,这其实是 RockAI 目前最接近自己使命的一个产品。邹佳思对 AI 科技评论说,Yan 2.0 Preview 有两个提升。

一个是视觉感知能力的跃升。

他们针对视频模态进行稀疏取帧,降低视觉信息的时序冗余,再通过视觉编码器对选取的视频帧进行逐帧编码,生成视觉 Token。采用 Token Merge(ToME)的策略来降低视觉 Token 之间的语义冗余,进而减少视觉 Token 的序列长度。

邹佳思表示,这让 Yan 2.0 Preview 可以拥有比 1.3 更加连贯的视频理解能力," 过去只是看图,而现在真的能看视频了 "。

但更加重磅的是基于训推同步的自主学习能力。

RockAI 通过可微的记忆模块来实现信息的存储、检索和遗忘。在这种架构下,记忆可以不断更新。尤其是通过创新机制实现了记忆强度的动态调节:既能通过门控式更新保留长期依赖,又能基于输入分布特性灵活整合新知识。这让 Yan 2.0 Preview 可以像生物大脑一样,不断忘记不重要的事情,留下重要的。

过去,训推同步往往是与大模型一体机相伴相生的,但 RockAI 决定将训推同步的概念下放到个人的端侧设备上。这种尝试,在外界看来,或许显得有些疯狂——因为这个概念之前没人做,也没被太多应用端从业者认真思考过,所以即便将产品做出来,它将如何被应用也是个待明确的问题。

据邹佳思透露,RockAI 在和一些玩具公司做初步的探索。比如和一些国际头部玩具公司探讨能够自主学习的 AI 玩具,孩子可以对自己的玩具说话、下指令,而玩具会自己学习成长,从而成为属于孩子自己的独一无二的精神伴侣。

" 我们把 Preview 版本放出来,也是希望看到更多上下游的需求 ",邹佳思说," 我们绝对相信它有广阔的应用空间。" 而 " 广阔的空间 ",意味着它绝对不仅仅只在玩具场景得到使用。

如果说 1.0 是文本模型,1.3 是具有图片与音频能力的多模态能力,那么 2.0 将成为一个能看懂视频、能自主学习、实现实时人机交互的全新智能底座。

02

场景、场景,还是场景

" 踩技术的坑 ",只是 RockAI 过去一年两大 " 年度工作总结 " 中的一个。而比技术的坑更大的,则是 " 场景的坑 "。

场景很难,邹佳思对 AI 科技评论说,演示和落地之间存在鸿沟,量产化落地难上加难。

假如说,Yan1.2 部署在树莓派可以算得上一个写在公司手册里的里程碑事件。那么 Yan1.3 发布后,公司拿到了出海头部硬件公司的订单,则又算得上是业务里程的一大步。

邹佳思至今都记得,当合作伙伴把搭载着 Yan1.3 能力的 PC 拿给海外经销商的时候,合作伙伴的震动与兴奋。甚至一些实力雄厚的 " 巨头 " 友商代表,都专门到展台前面询问离线端侧功能是怎么实现的。

断网其实是一件比很多人想象得更重要的事情。

" 离线端侧大模型在海外的需求是非常旺盛的 ",邹佳思对 AI 科技评论表示,只是其中很多需求还没有获得最佳的解决方案。

首先,对于出海的硬件企业来说,海外关于信息安全的政策环境是很多样的。端侧可以规避大量信息传输、上云带来的政策风险与合规成本。

" 海外对隐私的话题是非常敏感的 ",邹佳思表示," 不同国家对个人信息保护的法律和审查都是不同的,如果要上传数据,便意味着主机厂需要去层层过关每一个国家的法律和监管体系。"

更不用说海外复杂的网络环境。

目前全球主要人口都是生活在第三世界国家,其中生活在农村的人口又远多于城市的人口。一份国际电信联盟 2022 年的调查数据显示,欧洲和北美国家,80% 至 90% 的人口使用互联网,而在阿拉伯国家和亚太国家这个数字降低至三分之二。而在非洲,互联网人口的比例则进一步降低至 40%,而最不发达国家和内陆发展中国家的互联网覆盖率仅为 36%。城乡差异也是如此,根据上述报告,即便在资源集中的城市,全球只有 82% 的城市居民可以在家上网,但这一比例竟然是农村的 1.8 倍。

而这份报告中涉及的只是网络覆盖率,尚没有涉及更加复杂的网络质量和网络资费等问题。

RockAI 的愿景是 " 每一台设备 ",不是 " 每一台欧美设备 " 或者 " 每一台中国设备 ",也不是 " 每一台城市设备 ",而是不加定语的 " 每一台设备 "。

" 很多设备连 NPU、甚至 GPU 都没有,只有 CPU,你要如何把大模型放进去?目前只有 RockAI 能做到。" 邹佳思表示。

从某种程度上来说,未来一些海外用户接触的第一个 AI 大模型产品,或许就会是 Yan。

这也大概也是 Yan 2.0 Preview 合作伙伴的经销商们,会对一个 AIPC 产品惊讶的原因之一。

" 他们没见过这种产品 ",邹佳思说," 不用网络,直接就能在中低端 CPU 级设备上跑的 AI 产品,他们没见过。"

为了量产项目,RockAI 投入了很多的资源,或许这不能叫投入,而是一场技术投资,这可能源于 RockAI 一种另辟蹊径的市场哲学:

" 标杆战略 "。

RockAI 一直都被认为是一个不喜欢跟随 BenchMark 的公司。" 我们会去测一些榜单,但不会打榜 ",邹佳思说,公司并不是完全排斥榜单,只是对一些榜单的价值和意义确实有过一些怀疑。但未来团队会做去选择一些严肃的榜单参与,让外界更直观看到 YAN 的成果。

可即便如此," 也不会将重点放在这里 ",邹佳思表示,因为 RockAI 是一个着重场景落地的团队,因此公司的业务逻辑是做 " 标杆 "。

" 就像 ARM 与德州仪器、诺基亚的关系——德州仪器把那时名不见经传的 ARM 推荐给了诺基亚,说希望在小型机上试一试。ARM 花了很大的力气去说服诺基亚,最后诺基亚高管点头了,于是成就了诺基亚当年的手机霸主地位,也成就了今天的 ARM。" 邹佳思说。

RockAI 或许没有奢望一个像诺基亚那样性感的贵人,邹佳思对标杆的期待就是一个跑通的、大家都能看见的、能被交付到用户手里的场景。

团队对潜在的标杆很重视。邹佳思回忆自己之所以能拿下头部公司的端侧设备订单,部分因为他们是唯一带了真实样机去客户公司展示的团队。

" 一个见面前 2 周临时买的酷睿 i5 的小盒子,麦克风和显示器都是现场接的,折腾了十多分钟 ",邹佳思说那个场景至今在他脑海里," 其实现场挺乱的 ",他说," 但是其他厂家都带着 PPT,只有我们带了真机样品直接开始演示。" 团队甚至没有来得及好好介绍自己,对方已经有合作的意向了,缓过神来才问:

" 你们公司啥时候成立的?"

虽然 RockAI 是这家头部公司接触最晚的,却是最终拿下合作的。于是才有了开头,那些激动的海外经销商和刺探情报的巨头友商。

榜单可能可以刷分,但用户是诚实的,商业订单也是。设备量产是 RockAI 的起点,也是 YAN 生态的一个起点。

03

留在牌桌上

没有人会怀疑,RockAI 是在跟巨人作战。就像大卫面对歌利亚,当年手里也拿着这么几块石头。大卫用甩石机,让石头在手中形成一个小而有力的 " 飞轮 "。

当然,YAN 与 Transformer 社区之间并不是你死我活的关系,它们更像是一条河与大海的潮水竞速。

但对于一个闭源为主的大模型生态,节奏是很关键的。因为它既要做底座,也要做应用;既要做上层交互,又要做底层适配。要在技术与场景之间反复 " 踩坑 "。

邹佳思说,RockAI 在过去一年时间里,团队已经扩张到了近一百人,绝大部分都是研发。

对于一个商业公司来说,所谓节奏的含义,无非就是,哪些快,哪些慢;哪些抓紧,哪些放弃。

邹佳思不愿意将自己称为 " 闭源 " 大模型,他说 RockAI 会有自己的开源节奏,有些可能暂时没那么快披露,但他们已经对部分核心合作伙伴开源。比如芯片厂商,共享代码会大幅降低 YAN 落地的磨合成本。

有些事情 RockAI 是确实暂缓不做的,比如 " 生图 "。邹佳思认为,设备端的主体诉求在感知、决策和行动这三个方面。

" 就跟人一样 ",邹佳思说," 人脑也不会直接输出图像,而只是转而使用工具,YAN 其实也一样。"

而有些更远景的事情,暂不落地但却是行业趋势,邹佳思给 RockAI 的要求,则是要 " 留在牌桌上 "。

在邹佳思看来,机器人就是一个场景在未来,但 YAN 要争取 " 留在牌桌上 " 的赛道。邹佳思认为,Yan 天然是可以探索去跟机器人结合的架构。因为 Yan 不做生成,主要做以感知和认知为主的多模态能力。而在实验中,RockAI 发现,以 Yan 为主的架构已经能实现部分轨迹复刻的能力了。

" 我们这次在展台上放了一个灵巧手,可以玩游戏 ",邹佳思说," 也有机器狗可以学习人的动作。"

在 RockAI 的构想里,它将成为一个横跨上至无人机,下至机器人机器人、大到手机电脑这样的核心消费算力设备、小到智能眼镜、陪伴玩具等探索型低算力设备,每一台设备都成为

Yan 的算力网络中的一部分,共同构成 " 群体智能 " 的未来世界途径——

谁说小石头不能成高山呢?雷峰网雷峰网

相关标签