关于ZAKER Skills 合作
中国经营报 11小时前

安恒信息 CTO 刘博 :AI 迭代快是核心安全挑战

中经记者 许璐 李晖 贵阳报道

从客户应用看,当前多数智能体仍用于个人或小规模实验场景,真正进入生产系统的应用 " 才刚刚开始 "。随着数据依次进入模型训练、推理调用和智能体执行等环节,相关安全风险呈现新变化。

新变化分为两个方面。一方面是新环境下应对来自外部攻击风险的技术挑战,另一方面是隐私问题。现在以可信数据空间为代表的数据基础设施,包括高质量数据集,涉及很多隐私相关的问题,在数据 " 可用不可见 "" 可用不可得 " 的要求下,正成为新的挑战。

目前,安恒信息提出打造 "AI+ 动态数据安全 " 体系,不再依赖静态规则。AI 再加上 UEBA(用户及实体行为分析)技术,可以自动帮助我们进行数据打标、数据识别,发现敏感数据在哪里、重要数据在哪里、被哪些人使用,以及相关使用行为是否合规。

当前,最核心的挑战在于,AI 技术本身的迭代速度远超安全防御体系的跟进周期。比如智能体,两三年前也有智能体的概念,但是当时的智能体框架和技术手段与现在差别非常大。智能体可能带来的安全风险有些是恶意操作或被投毒,有些是操作失误。还有一些任务的思维链非常长,导致智能体难以持续完成任务,出现错误操作。也有些智能体被攻击者操控,他们利用智能体进行各种恶意操作。

对于我们的挑战是,当智能体的技术框架还没有固化、沉淀下来时,要快速应对,针对新的风险快速推出新的解决方案。我们判断 2027~2029 年,智能体才会在更大规模的领域应用。我们现在需要快速迭代。在客户群体上线智能体前,要先提供一个能够解决主要问题的 AI 安全整体方案,之后再根据智能体技术和风险的变化持续迭代。

相关阅读

最新评论

没有更多评论了

觉得文章不错,微信扫描分享好友

扫码分享

热门推荐

查看更多内容

企业资讯

查看更多内容