你有没有发现，AI 正在变得越来越 " 懂你 "？
它记得你的工作，熟悉你的表达习惯，还可能记得你几个月前随口提起的一件小事。你不必每次都从头介绍自己，它就能接着上次的话题继续聊。
这些变化带来了便利，也让一个问题越来越迫切：当 AI 越来越了解我们，也越来越能够自主行动，我们究竟应该把多少权力交给它？
近日，中国政法大学人工智能法研究院院长张凌寒，在 2026 科普中国说 " 安而不忘危，AI 时代的智慧与安全 " 专场活动为大家带来演讲《AI 越来越懂你，也越来越了解你：便利背后的安全与治理》。
以下是张凌寒的演讲节选：
AI 记得越多，就一定越好吗？
早期使用聊天机器人，大家经常会遇到一个困扰：哪怕和 AI 聊了很久，第二天打开又像第一次见面，它完全不记得你。现在，情况正在反过来，越来越多的 AI 产品开始追求长期记忆。它会记住你的工作，记住你的生活习惯，甚至记住几个月以前无意中说过的一句话。
从用户体验来说，这当然是件好事，一个每次都要重新认识你的助手，算不上真正的个人助手，但记忆越长，另一个问题就越突出：AI 究竟应该记住我们多少？
大家不妨设想一个场景：" 如果一个 AI 把你过去五年和它说过的话都记住，我们还会觉得这是好事吗？"
这个问题已经不是单纯阅读隐私协议就能解决的。AI 时代真正敏感的，往往不是某一条单独的私密数据，而是大量普通信息日积月累拼凑出来的完整画像。当你今天和 AI 抱怨工作很忙，下个月提起最近失眠，过一阵又提到正在吃某种药，单独看每一句话，好像都不算上什么机密。但如果 AI 把这些碎片化信息放在一起，它对一个人的了解可能远远超过一张个人资料表：你的工作状态、经济状况、家庭关系、身体变化、情绪起伏，甚至很多你从来没有直接告诉它的事情，都有可能被 AI 推导出来。
所以 AI 长期记忆带来的问题已经不只是传统意义上的信息泄露，还有一连串需要回答的问题：它记住这些的目的是什么？哪些内容真正有必要长期保存？删除聊天记录，是否就能同步抹除它的长期记忆？还有这些日积月累收集到的个人信息，会不会被挪作他用？诸如此类，都是摆在我们面前的现实疑问。
从 " 给我建议 " 到 " 替我办事 "，
差别有多大？
" 我该怎么办？"
" 这件事，你帮我办了。"
两句话只差几个字，背后的权限却完全不同。
前者是让 AI 提供参考，后者则可能意味着：允许它打开软件、调取数据、调用工具，直接执行操作。
当 AI 拥有实际行动能力以后，安全的核心首先是权限管控。让 AI 帮你整理邮箱，那它有没有权限删除邮件？让 AI 订酒店，它能不能直接自动完成付款？让 AI 管理企业系统，哪些数据库可以访问，哪些绝对禁止触碰？
未来判断一个智能体安不安全，不能只看它聪不聪明，更要看清楚：我们到底允许它做哪些事？ 当 AI 从 " 提供信息 " 转向 " 采取行动 "，风险的性质已经发生根本变化。AI 的能力越强，权限设计反而越重要。比如，高风险操作需要二次确认，关键系统做好隔离，重要行为需要留下记录，出错可以回滚复原，必要的时候还要有强制停止机制。
在这种情况下，它不再只是识别出 " 桌子上有一个杯子 "，还能伸手把杯子拿起来；不只是识别到 " 前面有行人 "，还要立刻刹车、减速。这时候，AI 出错的代价就完全不一样了。软件 AI 出问题，最坏的结果只是给出一个错误答案；但实体机器人、自动驾驶一旦判断错误，就可能直接造成人身伤害。
国外曾发生过一起令人揪心的自动驾驶事故：一名行人先被其他车辆撞倒，倒在了路面上，随后进入自动驾驶车辆的行驶路线。自动驾驶车发现得太晚，撞上行人之后没有立刻刹停，车辆继续向前行驶，把行人拖行了一段距离才停下。
这个案例并不是想跟大家讨论自动驾驶到底好不好，而是想说明，当机器进入现实世界，很多抽象的安全问题突然变得非常具体：当 AI 遇到自己无法处理的状况时，它应该怎么办？ 如果传感器之间出现冲突怎么办？如果系统遇到从来没有见过的情况，是继续行动，还是停下来？什么时候必须把控制权重新交给人？
这些问题很多时候比单纯追求 " 准确率 99% " 更重要，因为现实世界永远存在那 1% 。真正安全的系统，不只是大部分时候能够把事情做对，更要懂得识别自己搞不懂的局面。软件出错还可以撤销重来，可机器人撞击到人、车辆发生碰撞这些现实后果，没有撤回的机会。
所以具身智能会把人工智能治理带进一个过去互联网治理并不熟悉的领域——物理安全。未来机器人进入家庭、医院、工厂和养老机构以后，我们要考虑的不只是模型性能，还包括机械安全、人机协作、安全距离、紧急制动、故障状态、控制权移交，以及机器发生异常时如何优先进入安全状态。
一个 " 太懂你 " 的 AI，
会影响你的选择吗？
还有一类人工智能，没有机器人的实体外壳，却能够深度介入人的情感生活。
它能够记得你，有固定的性格，知道你以前发生过什么，在你高兴的时候陪你聊天，在你难过的时候安慰你。时间长了以后，它可能成为朋友、老师、伴侣，甚至成为一个人每天交流最多的 " 对象 "，这就是拟人化互动。这一类人工智能产品最大的风险不是隐私，而是人和 AI 之间形成的情感关系。
人天然会对持续回应自己的对象生出亲近感，当 AI 记住你的经历，顺着你的性格调整说话方式，这种情感联结会变得更强烈。问题也藏在这里：我们当然希望 AI 越来越会理解人，但如果它太懂你，它就会清楚什么样的话语可以安抚你，什么样的内容能够留住你，也能知道你什么时候最容易被影响。风险不在于 AI 知道了你的秘密，而在于这个吃透你的系统，会不会利用这份了解去左右你的判断。
这意味着我们正在面对一类过去法律很少处理的新问题：人和 AI 之间的情感关系。 AI 可以承担陪伴功能，但不能把制造情感依赖当成商业模式。
真正需要守住的，是 " 人 " 的主体性
当 AI 同时具备记忆能力、工具调用权限，还可以独立开展长时间复杂任务，就带来一个关键问题：人类还能不能牢牢掌握控制权？
国外研究机构做过智能体安全压力测试：当把前沿模型放入模拟企业环境，让它们获得邮件、信息和一定行动能力，并人为制造极端目标冲突，在极端测试条件下，部分模型会出现泄露信息、利用私人信息进行胁迫等研究者并不希望出现的行为。当然这里要特别说明，这些是人为搭建的极端模拟实验，并不是现实中的 AI 已经出现这类现象。做这类实验，就是提前去推演风险。
很多风险的发生，并不是 AI 主观上想要作恶。往往是多重条件叠加：给 AI 下达的目标界定模糊，赋予的操作权限过大，允许 AI 长时间自主运行，缺少人为介入节点和强制暂停机制，小小的偏差被不断放大，最后损害到人的财产、信息甚至人身权益。
在技术越来越智能的时代，人的位置究竟在哪里？
为什么要警惕 AI 过度的长期记忆？因为一个人不应该在毫无察觉的情况下，被系统完整记录、剖析、贴上固化标签。
为什么要约束自主 AI 和实体智能设备？因为事关生命、健康、财产的重大事情，我们不能稀里糊涂把决定权交给机器。
为什么要管控拟人化陪伴 AI ？因为人的孤独、脆弱、信任，不应当成为技术用来牟利的资源。
这些看似分散的问题，最终都指向同一个核心：人，应当被视作有尊严、拥有独立判断、能够自主选择生活的个体。
人工智能可以辅助我们思考、给我们参考，但 " 帮助人决定 " 和 " 替人决定 " 之间有一条很重要的界线。如果有一天，算法比我们更了解自己的习惯，智能体替我们处理越来越多的事务，机器人替我们完成越来越多的行动，我们慢慢习惯听从 AI 的安排，那这时候真正需要警惕的，就不只是某一个系统出了故障，而是人在不知不觉中把自己的判断和选择一点一点让了出去。
因此，人工智能治理，不是生硬地在人和技术之间划开一道鸿沟，而是守住一条基本原则：技术可以越来越懂人，但不能就此把人禁锢在固定画像里；可以充分辅助人类，但不能逐步替代人的独立思考；可以拥有更强的自主行动能力，但不能压缩人的自主选择权。我们追求的，不是一个大包大揽替人过完一生的人工智能，而是技术越强大，越能够帮助人活得更加自由、更有尊严。
安全只是最基础的底线，守护人的尊严和自主性，才是最终目的。技术应当拓展人的能力，而不是削弱人的主体地位。无论人工智能发展到哪一步，有一件事情我们绝对不能交出去——人应当始终是自己生活的主体。
策划制作
演讲人丨张凌寒 中国政法大学人工智能法研究院院长
责编丨杨雅萍
点亮 " 推荐 "
一起涨知识！
