关于ZAKER Skills 合作
36氪 12分钟前

豆包手机明日开卖,AI 能帮你操作 App 了吗?

文 | 李炤锋

编辑 | 张雨忻

昨日,豆包手机助手发布消费者版本。这款基于豆包 App(应用)、与手机厂商在操作系统层合作的 AI 助手,首款落地机型为中兴通讯旗下努比亚 NaviX Ultra,而这款手机将在 9 月 16 日正式公开发售。

去年底,豆包手机助手技术预览版曾落地努比亚 M153 工程样机,重点展示 AI 如何跨应用 " 操作手机 "。不到一年时间,全新推出的消费者版本更强调日常可用性:除屏幕问答、本地记忆和检索外," 操作手机 " 功能以 Beta(测试版)形式开放;豆包同时推出 SAEP(屏幕自动化操作声明协议),并设置 30 天公示期。

根据协议,第三方应用可以自主声明是否允许 AI 助手执行屏幕自动化,也可以限制具体操作。30 天公示期内,未明确同意接入的第三方应用默认不操作。消费者版豆包手机助手进一步加入应用侧选择权:第三方应用可以整体拒绝 GUI,也可以单独限制发布、删除和权益领取等操作。

从事 GUI(图形用户界面)Agent 研究的人士认为:" 未来手机里肯定要有一个原生 AI 助手。这个事情不一定由手机厂商自己做,但最后一定要做到系统级。" 而随着 NaviX Ultra 和一众系统级手机助手进入消费市场,系统级 AI 助手正在走向普通用户的日常使用场景中。

01 走出对话框,手机 AI 开始跨 App 完成任务

今年 7 月,中兴通讯高级副总裁、努比亚总裁倪飞在接受媒体采访时表示:" 用户真正想要的是‘省心’,但今天的手机功能越多、操作越复杂,这种矛盾已经积累到了一定程度,需要一个全新的产品形态来回应。"

这正是豆包手机助手在尝试解决的问题:它嵌入手机系统,能在用户授权后搜索当前屏幕和本机信息,调用日历等系统工具,或进入其它 App 完成 App 中的操作。用户可以通过 AI 键发起任务,多个任务还可以排队或临时插队。

比如,在豆包手机助手的官方演示中,用户拍下新学期课表后,可以让助手将课表加入个人日历;也可以让它打车到屏幕显示的地址,添加银都大厦为途经点,上车后再把车牌号发给飞书同事,并提醒对方 10 分钟后下楼。

这套使用方式在去年的技术预览版——努比亚 M153 上已经有过雏形。一段公开演示中,用户让豆包根据相册里的一张血压仪照片,在淘宝 " 挑一个便宜的同款 ",再 " 把链接发给张三 "。豆包识别出商品,也识别出 " 张三 " 是 QQ 好友,随后连续完成相册、电商和社交应用之间的操作。

据悉,M153 调用了 Android 的 INJECT_EVENTS 系统级权限。获得用户授权后,即使第三方 App 没有为 AI 提供接口,豆包也可以模拟点按、滑动和输入;遇到密码、人脸识别等敏感环节,再把手机交还用户。

但在实际使用中,涉及到一些登录验证和平台风控的跨 App 操作都可能中断任务。随后,豆包主动限制了金融支付、刷激励等高风险场景。

今年 2 月,Google 在 Galaxy S26 系列和部分 Pixel 10 机型上测试 Gemini 多步任务:它可以为同事安排包含多个停靠点的网约车,任务转入后台后,用户仍可通过通知查看进度、随时接管,并在购买前确认。Google 负责 Android 开发者产品管理的副总裁 Matthew McCullough 在官方博客中写道:" 衡量应用成功的标准,正在从‘让用户打开 App ’转向‘真正完成用户的任务’。"

2026 年以来,一批系统级手机 AI 助手批量涌现。

6 月发布的 HarmonyOS 7 开发者 Beta 中,华为小艺接入超过 200 项系统级感知数据,可以从面试邀请中识别时间、地点和注意事项,写入备忘录;也可以在手机上要求小艺寻找电脑中的文件,再发送到手机。

7 月的 2026 世界人工智能大会(WAIC)上,努比亚 NaviX Ultra、阶跃星辰 STEPX Neo 和荣耀 Robot Phone 集中亮相。STEPX Neo 搭载的 Amoo 助手接到 " 帮我处理一下明天汇报的事情 " 后,会读取飞书日历和群消息,拆解任务、生成 PPT(演示文稿),再把文件发回飞书;修改文档前会申请权限,涉及支付则由用户确认。

而几乎在同一时间,超级 App 们和手机 AI 助手之间的关系也在发生变化。

今年 6 月,微信确认与华为、荣耀、小米、OPPO、vivo 合作 A2A(智能体间通信)能力,手机助手可以提交发消息或音视频通话指令,由微信执行并返回结果,全程采用双重授权。8 月,vivo 蓝心小 V 与支付宝服务智能体 " 阿宝 " 合作,用户说 " 帮我叫车去高铁站 " 或 " 帮我开具打车发票 ",相关服务均可在对话中完成。

可以看出,2026 年,手机 AI 助手进入了密集发布期。除了搭载豆包手机助手的努比亚之外,Google、华为、阶跃和荣耀相继将 Agent 带到手机系统层,微信、支付宝等超级 App 也开始接收系统助手发出的指令。

02 AI 替你点屏幕,怎样才能不越界?

当采用 GUI 路线的手机 AI 助手越来越普及,它们更加迫切地需要处理三项权限问题:用户是否授权、应用是否放行,以及发送、下单和支付前由谁确认。从豆包此次推出 SAEP(屏幕自动化操作声明协议)上,也许能窥探到有关这一权限边界的安全举措。

目前,CUA(计算机操作智能体)已经将 GUI 技术路线作为主流,它在解决的问题是:AI 如何直接操作软件,又如何限制可访问的范围。有研究员把 CUA 形容为 " 给你的电脑配了一个特别全能的程序员,什么都懂,会写代码,同时也懂网络安全 "。

目前的操作方式是:面对可以结构化处理的任务,手机会优先调用代码、命令和工具;只有遇到没有接口的软件,才转向识别屏幕、点击按钮。GUI 更像一项兜底能力,让 Agent 能够继续操作那些尚未向 AI 开放的软件——手机 App 数量庞大,各种临时页面又不断变化,不可能全部接口化,需要 GUI 来覆盖未接入的部分。

一位 GUI 研究员告诉智能涌现:" 不能指望所有 App 开发者都为 AI 完成适配,GUI 肯定是必要的补充。" 另一位从业者也提到," 短时间内,市面仍会有很多软件不具备 AI 能力,尤其是大型软件,即使有接口也非常复杂,可能一时半会儿接不完。"

手机 Agent 比电脑 Agent 更依赖应用生态。在电脑上,操作系统可以直接决定哪些软件可以通过与 Agent 连接;但到了手机端,操作系统不具备这样的权限,不仅不同服务都被封装在各自 App 内,定位、相机、通讯录等权限也由系统和应用共同控制。如果第三方 App 既不开放接口,也不允许 AI 操作界面,手机助手就无法继续执行任务。

目前,GUI 会把每一步操作显示在屏幕上。一位研究员说," 大家都能看得懂,也都能够了解这个 AI 助手正在做什么东西 "。用户可以据此判断是否暂停或接管。

但 " 看得见 " 不等于 " 做得好 "。卡内基梅隆大学研究团队今年推出的手机 Agent 评测基准 iOSWorld,用 26 款自研 iOS 应用模拟同一名用户的数字生活,并设计了 133 项任务。表现最好的模型在跨应用任务中的成功率也只有 37%,真实消费场景还要面对不断变化的页面、身份验证和平台风控。

和 App 场景相比,手机系统层还聚合了相册、通讯录、位置、日历等用户个人信息。手机 AI 助手掌握的信息越完整,能完成的任务越多。所以,接下来要比拼两项能力:一是 " 怎么造出更多、更好的数据 ",二是 " 怎么编排各个步骤、各个 Agent 之间的协作 "。

但同时,更多能力也意味着对生态的要求也更高。

对此,豆包手机助手选择推出 SAEP(屏幕自动化操作声明协议),允许第三方应用在 GUI Agent 执行前,先声明是否放行,以及哪些操作不可执行。

"SAEP 有点像 AI 时代的 Robots 协议(网络爬虫访问规则)。网站通过这项协议告诉搜索引擎等自动程序,哪些页面允许抓取、哪些不允许;SAEP 则让应用声明 Agent 能否进入应用,以及哪些操作必须停下。" 一位研究员解释。

接入 SAEP 后,第三方应用既可以拒绝全部屏幕自动化,也可以只限制内容发布、删除、签到抽奖和权益领取等具体操作;拒绝声明随时生效。30 天公示期内,除系统自带应用、字节跳动旗下应用和明确同意接入的第三方应用外,其余应用默认不操作。公示期结束后,未表态的应用将按风险等级逐步开放,明确拒绝的应用则始终不被操作。

应用通过 SAEP 表达意愿,手机系统负责读取声明、限制 GUI 权限,并在敏感步骤交还用户。这需要模型公司与终端厂商共同完成。

此前,努比亚总裁倪飞把豆包与努比亚的合作概括为:" 模型公司解决 AI 能不能做到,终端厂商解决用户能不能真正用起来。" 按照倪飞披露的分工,豆包负责大模型和 Agent 能力,努比亚负责系统、硬件、产品工程、质量、渠道和用户服务。合作范围覆盖模型、操作系统和整机工程。

在这套分工中,权限与信任最终由操作系统承接,这意味着手机操作系统和 Agent 的关系将愈发一体化。

今年 8 月,在杭州举行的支付宝 AI 生态合作伙伴大会上,vivo 副总裁、AI 全球研究院院长周围曾表示:" 硬件形态不会消失,但操作系统会重构——从管理 App,变成管理 Agent、管理权限、管理信任。"

更早的 7 月,国家互联网信息办公室首次单独公布 7 款手机端侧生成式 AI 服务备案,涉及 Apple 智能、华为小艺 AI 大模型、OPPO AndesGPT 大模型、vivo 蓝心端侧大模型、小米澎湃 AI、三星盖乐世 AI 和努比亚豆包手机大模型。手机系统级 AI 助手,正在进入一个行业井喷期。

一位 GUI 研究员对智能涌现表示,相比独立 AI 应用,手机拥有更稳定的用户关系:" 只做 AI 软件,用户可能谁免费就用谁;但手机不一样,一部手机往往要用几年,会伴随用户很久。"

9 月 16 日,NaviX Ultra 将正式开售。届时,豆包手机助手将正式进入消费市场,SAEP 也将随之接受真实用户和应用开发者的检验。

相关标签
36氪

36氪

让创业更简单

订阅

觉得文章不错,微信扫描分享好友

扫码分享

热门推荐

查看更多内容

企业资讯

查看更多内容