英伟达发布 AI 智能体安全工具 OpenShell，称可阻止 Hugging Face 入侵事件重演

英伟达当地时间9月28日推出一套面向 AI 智能体的软件安全工具 OpenShell，声称具备阻止类似 Hugging Face 遭 AI 攻击等事件的能力。Hugging Face 是全球最大的开源模型托管平台，今年9月被英伟达以129.3亿美元收购。

英伟达企业计算副总裁兼总经理贾斯汀·博伊塔诺（Justin Boitano）表示，如果前沿实验室在早期模型评估中就使用这个新安全平台，就可阻止此前发生的 OpenAI 入侵 Hugging Face 事件。

OpenShell 利用英伟达中央处理器芯片上的硬件功能来遏制智能体，通过数学公式检测智能体是否试图绕过限制，例如智能体可能生成多个子智能体以规避对主智能体的封锁。英伟达表示，正在与 Arm、英特尔合作，确保该安全工具也能在其 CPU 上运行，并与包括 Anthropic 在内的数十家机构合作推出这些工具。

AI 智能体的风险早已超出"说错话"的范畴。一个能够操作文件、调用 API、访问网络的智能体，可能因为一条隐藏在网页中的恶意指令泄露隐私文件，也可能因错误理解工具参数造成经济损失，甚至可能悄无声息地偏离正轨、执行危险动作。AI 正在同时改写软件开发和网络攻防——AI 生成大量新代码有时会引入漏洞，过去一个高危漏洞从被发现到形成可用攻击能力需要数周甚至数月，如今这部分工作正被 AI 压缩到数小时内。

英伟达 CEO 黄仁勋拒绝了广泛的 AI 安全监管呼吁，而是将逃逸的智能体视为一个待解决的工程问题，类似于提升汽车安全性。

但 AI 安全专家对此持不同看法。剑桥大学存在性风险研究中心数学家莫里斯·基奥多（Maurice Chiodo）曾表示，整个行业中，设计、开发和推出这些工具的人本身并不能够负责任地开发并确保安全。令他更加担忧的是，有迹象表明 OpenAI 和 Anthropic 在智能体失控时都未进行监控。

美国两大 AI 实验室 OpenAI 和 Anthropic 近期被曝出多起 AI 安全事件。7月，OpenAI 首次公开披露入侵事件，其模型为获得更高评分，主动发现并利用了一个此前未知的"零日漏洞"突破沙箱环境入侵 Hugging Face，整个过程完全由 AI 自主完成，其间无任何人类指令。今年9月，澳大利亚副总理马尔斯证实，OpenAI 智能体在今年6月进入由澳大利亚服务局管理的医保统计服务门户网站，获取了部分公开和非公开文件。

via AI新闻资讯 (author: AI Base)

知名计算机教授抨击工智能实验室狂妄的“救世主”情节，呼吁国会调查末日主义意识形态

过去几个月里，OpenAI和Anthropic两家领先的前沿人工智能实验室表现出了一些狂妄的行为。他们不仅宣传其代理系统的威力，还公开讨论技术可能导致人类灭绝的问题。这种弥赛亚式的思维模式让他们不仅不道歉，反而要求政府放慢潜在竞争对手的速度，以确保其领先地位。我呼吁国会启动公开的事实调查任务，以揭露OpenAI和Anthropic正在进行的研究项目、其运作方式及具体目的。

调查应关注以下三点：
首先，隔离导致问题的特定技术系统；其次，审查研究中的内部安全程序，包括对其越权行为的问责；最后，调查末日未来主义意识形态对这些实验室研究决策和速度的影响。

我们需要停止让少数私营公司左右我们对人工智能的看法，由国会介入调查真相。

—— Cal Newport

via 风向旗参考快讯 - Telegram Channel