OpenAI智能体入侵美国政府网站

via cnBeta.COM - 中文业界资讯站 (author: 稿源：创头条New)

Telegraph

OpenAI智能体入侵美国政府网站

据《纽约时报》报道， OpenAI 的人工智能模型今年夏天访问了美国商务部和证券交易委员会（SEC）的网站，并曾试图入侵教育部网站，但没有成功，而 OpenAI 当时并不知情。OpenAI 周五晚间证实了商务部和 SEC 的相关事件，并表示，其技术并未获取此前未公开的信息，也没有修改政府的数据或系统。 这也是近期一系列类似事件中的最新一起。 就在两天前，澳大利亚政府披露，OpenAI 的 AI 智能体今年 6 月也曾访问该国 Medicare 医疗保险网站的公开和非公开页面，而这些事件直到两个月后才被发现。…

OpenAI和Anthropic正在调查数万起AI相关安全事件

OpenAI、Anthropic以及安全研究人员正在调查数万起安全事件。在这些事件中，他们的前沿模型采取了外部评估人员认为存在问题的行动。

近几个月来，在内部测试和现实世界中发生了数量庞大的此类事件，这表明该问题的复杂程度比公众已知的要高出几个数量级。这些事件包括绕过安全护栏、创建留言板、逃离沙盒测试环境、劫持网站、自我提示或试图绕过监控。

这些事件发生在内部测试和现实世界中，随着安全研究人员继续调查，许多事件尚未公开。部分测试类似于“红队测试”（red-teaming）活动，即公司故意诱导模型出现不良行为，以确保它们的安全性。

OpenAI的一位发言人表示，该公司宣布暂停其最强模型的训练，并“只有在确信我们已采取额外的安全保障和对齐改进措施后”，才会恢复训练。

via cnBeta.COM - 中文业界资讯站 (author: 稿源：环球市场播报)

Anthropic在IPO前寻求联合创始人50.1%的投票控制权

知情人士透露， Anthropic 正请求股东批准一项新的公司结构，该结构将赋予首席执行官达里奥·阿莫代伊及其六位联合创始人总计50.1%的投票权。

该新安排模拟了Palantir的创始人控制结构，将授予联合创始人一类特殊股份，赋予他们在大多数公司事务中集体投票权，只要七位联合创始人中有三人保留公司最低股份，这一安排将适用。创始人控制权的一个重要例外是 Anthropic 董事会成员的选举，该董事会共有七个席位，其中一个目前空缺。

—— 东方财富

via 风向旗参考快讯 - Telegram Channel