🤖 Anthropic 推出 Claude Chrome 浏览器扩展试点,强化安全防护
Anthropic 近期宣布启动 Claude Chrome 浏览器扩展的试点项目,旨在让其 AI 助手 Claude 直接在浏览器中执行操作,如查看内容、点击按钮和填写表单,从而大幅提升用户体验和效率。该试点将首先面向 1,000 名 Max 计划用户开放,以收集真实世界的使用反馈和安全问题。
公司强调,浏览器AI面临提示注入攻击等严峻的安全挑战。内部“红队”测试显示,在未采取缓解措施的情况下,恶意攻击的成功率高达 23.6%。为此,Anthropic 已实施多项安全防护措施,包括细致的网站级权限控制、高风险操作(如发布、购买、共享个人数据)的用户确认、改进系统提示、屏蔽金融服务和成人内容等高风险网站类别,并开发了高级分类器来检测可疑指令模式。
这些新缓解措施已显著降低了攻击成功率,从 23.6% 降至 11.2%。特别是在针对浏览器特有的四种攻击类型(如隐藏的恶意表单字段)的“挑战”测试中,成功率从 35.7% 降至 0%。Anthropic 计划利用试点期间的洞察,进一步完善其提示注入分类器和底层模型,以期将攻击成功率降至接近零。用户可通过 claude.ai/chrome 加入等候名单参与试点,但建议避免在涉及金融、法律、医疗等敏感信息的网站上使用。
(HackerNews)
via 茶馆 - Telegram Channel
Anthropic 近期宣布启动 Claude Chrome 浏览器扩展的试点项目,旨在让其 AI 助手 Claude 直接在浏览器中执行操作,如查看内容、点击按钮和填写表单,从而大幅提升用户体验和效率。该试点将首先面向 1,000 名 Max 计划用户开放,以收集真实世界的使用反馈和安全问题。
公司强调,浏览器AI面临提示注入攻击等严峻的安全挑战。内部“红队”测试显示,在未采取缓解措施的情况下,恶意攻击的成功率高达 23.6%。为此,Anthropic 已实施多项安全防护措施,包括细致的网站级权限控制、高风险操作(如发布、购买、共享个人数据)的用户确认、改进系统提示、屏蔽金融服务和成人内容等高风险网站类别,并开发了高级分类器来检测可疑指令模式。
这些新缓解措施已显著降低了攻击成功率,从 23.6% 降至 11.2%。特别是在针对浏览器特有的四种攻击类型(如隐藏的恶意表单字段)的“挑战”测试中,成功率从 35.7% 降至 0%。Anthropic 计划利用试点期间的洞察,进一步完善其提示注入分类器和底层模型,以期将攻击成功率降至接近零。用户可通过 claude.ai/chrome 加入等候名单参与试点,但建议避免在涉及金融、法律、医疗等敏感信息的网站上使用。
(HackerNews)
via 茶馆 - Telegram Channel