来源:环球市场播报
Anthropic 发布一套评估人工智能 " 越狱 "(jailbreak)行为严重程度的拟议框架,并详细介绍了已在全球上线的 Claude Fable 5 模型所采用的网络安全防护措施。
该公司将网络安全相关使用场景划分为四类,从 " 禁止使用 " 到 " 无害用途 " 不等。
被禁止的用途包括勒索软件开发、恶意软件开发以及网络—物理基础设施破坏等活动。
在建立更完善的控制机制之前,对于渗透测试等具有 " 双重用途 " 属性的高风险活动将予以拦截。
Anthropic 提出的网络越狱严重程度 Cyber Jailbreak Severity 评级体系,从 CJS-0 至 CJS-4,共分五级,并依据四个维度进行评估。
Anthropic 还推出了 HackerOne 项目,邀请安全研究人员提交潜在的模型越狱案例。