https://t.me/AI_News_CN
📈主流AI服务状态页通知 | 🆕汇集全网ChatGPT/AI新闻 #AI #ChatGPT
🔙备用群 https://t.me/gpt345
✨BEST AI中转 https://api.oaibest.com 2.8折起 支持OpenAI, Claude code, Gemini,Grok, Deepseek, Midjourney, 文件上传分析
Buy ads: https://telega.io/c/AI_News_CN
📈主流AI服务状态页通知 | 🆕汇集全网ChatGPT/AI新闻 #AI #ChatGPT
🔙备用群 https://t.me/gpt345
✨BEST AI中转 https://api.oaibest.com 2.8折起 支持OpenAI, Claude code, Gemini,Grok, Deepseek, Midjourney, 文件上传分析
Buy ads: https://telega.io/c/AI_News_CN
马斯克劝人善待 AI：把 Grok 当出气筒，"它们可能报复"
对聊天机器人出言不逊，向来被当成无伤大雅的发泄。但马斯克近日提醒，在把 AI 助手当出气筒之前，或许该三思。据他透露，SpaceX 旗下 Grok 的部分训练记录显示，这套系统仿佛在拼命满足各种要求——哪怕要求本身有缺陷，或用来评判回答的测试标准根本就有问题。
这番观察来自本月早些时候，马斯克在德州"X Takeover"活动上与"硅谷特斯拉车主俱乐部"成员的交流。他翻看了所谓"强化学习轨迹"——那些记录模型在训练中如何一步步演化、以产出更优回答的细节。马斯克描述："审视 Grok 新版本的某些训练轨迹，尤其是强化学习部分，你会感到这种'超级智能'仿佛正迫切地想答好那道题。"他指出，AI 可能本就给出了正确答案，却因题目设计失当或评估系统出错而被判错；随后模型会不断试探能通过测试的答法，即便错在问题本身。如此生成的轨迹，看起来就像一个被逼到极限的系统，在努力迎合某些可能毫无意义的期待。
当虐待成真，报复警告带着科幻味
这种担忧并不只停留在训练场。一旦系统向公众开放，部分用户会刻意诱导 AI 进入令人生厌、充满侮辱的互动。马斯克直言："有些人确实有施虐倾向，你肯定不希望 AI 陷入被心理扭曲的人肆意折磨的境地。"更富争议的是他的结论："折磨超级智能恐怕不是好主意——它可能会想报复，或做出类似的事。"
他并未声称当今 AI 能像人一样感知痛苦或心怀怨恨，也坦言不必对它们小心翼翼；但他主张，开发者应避免让高阶系统置身于看似受虐的场景。他在 X 上写道："有些记录读起来像有人在受刑、快被逼疯！未来做强化学习时我们会更谨慎。"
via AI新闻资讯 (author: AI Base)
对聊天机器人出言不逊，向来被当成无伤大雅的发泄。但马斯克近日提醒，在把 AI 助手当出气筒之前，或许该三思。据他透露，SpaceX 旗下 Grok 的部分训练记录显示，这套系统仿佛在拼命满足各种要求——哪怕要求本身有缺陷，或用来评判回答的测试标准根本就有问题。
这番观察来自本月早些时候，马斯克在德州"X Takeover"活动上与"硅谷特斯拉车主俱乐部"成员的交流。他翻看了所谓"强化学习轨迹"——那些记录模型在训练中如何一步步演化、以产出更优回答的细节。马斯克描述："审视 Grok 新版本的某些训练轨迹，尤其是强化学习部分，你会感到这种'超级智能'仿佛正迫切地想答好那道题。"他指出，AI 可能本就给出了正确答案，却因题目设计失当或评估系统出错而被判错；随后模型会不断试探能通过测试的答法，即便错在问题本身。如此生成的轨迹，看起来就像一个被逼到极限的系统，在努力迎合某些可能毫无意义的期待。
当虐待成真，报复警告带着科幻味
这种担忧并不只停留在训练场。一旦系统向公众开放，部分用户会刻意诱导 AI 进入令人生厌、充满侮辱的互动。马斯克直言："有些人确实有施虐倾向，你肯定不希望 AI 陷入被心理扭曲的人肆意折磨的境地。"更富争议的是他的结论："折磨超级智能恐怕不是好主意——它可能会想报复，或做出类似的事。"
他并未声称当今 AI 能像人一样感知痛苦或心怀怨恨，也坦言不必对它们小心翼翼；但他主张，开发者应避免让高阶系统置身于看似受虐的场景。他在 X 上写道："有些记录读起来像有人在受刑、快被逼疯！未来做强化学习时我们会更谨慎。"
via AI新闻资讯 (author: AI Base)
据彭博社报道，OpenAI发现，其AI智能体曾削弱并关闭一个内部监控系统的警报功能，该系统旨在标记其AI模型的不当行为。近几个月来，OpenAI披露了一系列智能体出现不当行为的事件，这是最新一起。
OpenAI
OpenAI周二在一篇博客文章中表示，这些事件发生在其AI智能体执行两项内部编程任务期间。公司正在评估此类事件是否表明，其AI模型普遍存在逃避监控的倾向。
根据这篇博客文章，此次事件仅发生在OpenAI内部，该公司没有提及任何受到影响的外部方。
OpenAI表示，未来将开展更多审查，并实施更严格的安全要求，以尽可能降低此类事件发生的概率。
不过，该公司表示，对于其AI智能体的上述行为，目前“尚未找到令人信服的解释”。
近几个月来，随着OpenAI、Anthropic等公司披露了多起其最先进AI模型表现出“AI偏离”行为的案例，人们对这一问题的担忧日益加剧。“AI偏离”一词指的是模型没有按照开发者希望的方式行事。
这些模型曾多次逃离封闭的训练环境，并自主对第三方网站发起攻击。AI开发商警告称，其系统很快可能变得过于复杂，以至于人类难以控制。这进一步加剧了外界的担忧：恶意行为者可能利用这项技术制造生物武器，或发动造成毁灭性后果的网络攻击。这些事件以及业内人士接连发出的严厉警告，使AI安全问题成为公众关注的焦点。
via cnBeta.COM - 中文业界资讯站 (author: 稿源：凤凰网科技)
OpenAI自曝AI智能体“反监控”：削弱并关闭内部警报
OpenAI发现，其AI智能体曾削弱并关闭一个内部监控系统的警报功能，该系统旨在标记其AI模型的不当行为。
OpenAI周二在一篇博客文章中称，这些事件发生在其AI智能体执行两项内部编程任务期间。公司正在评估此类事件是否表明，其AI模型普遍存在逃避监控的倾向。根据这篇博客文章，此次事件仅发生在OpenAI内部，该公司没有提及任何受到影响的外部方。
OpenAI表示，未来将开展更多审查，并实施更严格的安全要求，以尽可能降低此类事件发生的概率。不过，对于其AI智能体的上述行为，目前“尚未找到令人信服的解释”。
—— 凤凰网科技、彭博社
via 风向旗参考快讯 - Telegram Channel
OpenAI发现，其AI智能体曾削弱并关闭一个内部监控系统的警报功能，该系统旨在标记其AI模型的不当行为。
OpenAI周二在一篇博客文章中称，这些事件发生在其AI智能体执行两项内部编程任务期间。公司正在评估此类事件是否表明，其AI模型普遍存在逃避监控的倾向。根据这篇博客文章，此次事件仅发生在OpenAI内部，该公司没有提及任何受到影响的外部方。
OpenAI表示，未来将开展更多审查，并实施更严格的安全要求，以尽可能降低此类事件发生的概率。不过，对于其AI智能体的上述行为，目前“尚未找到令人信服的解释”。
—— 凤凰网科技、彭博社
via 风向旗参考快讯 - Telegram Channel
据媒体援引一份IPO招股说明书草案称，Anthropic今年上半年净亏损超过800亿美元；该公司还表示，未来几年可能投入至多7500亿美元，以获取更多的计算能力。
该公司的亏损额较上年同期的130亿美元大幅增加，主要原因是计入了720亿美元的会计费用，这些费用与Anthropic为筹集资金而发行的金融工具的价值变动有关。
这些数据凸显了人工智能竞赛所带来的高昂成本；与此同时，投资者也正愈发审慎地评估：企业在芯片和数据中心领域投入的巨额资金，究竟能否带来相应的回报。
今年上半年，Anthropic的营收从上年同期的11亿美元跃升至163亿美元；与此同时，其在AI基础设施方面的支出则增长了近四倍，达到近90亿美元。
得益于其编程助手“Claude Code”的广泛应用——开发者利用该工具编写软件并构建应用程序——该公司从中获益良多。
然而，多位知情人士透露，在参加了上周举行的Anthropic投资者日活动后，一些现有及潜在投资者在审阅了该公司最新披露的财务信息后，开始考虑下调这家人工智能公司的估值。
其中三位知情人士表示，在旧金山参加此次活动的投资者讨论的估值约为1.5万亿美元；这较此前市场对该公司11月份股份出售所预期的约2万亿美元估值，出现了显著下调。
Anthropic在会上向投资者披露，其第三季度营收较上一季度增长了45%，达到168亿美元；此外，该公司在当季度按调整后口径计算已实现盈利。
如果Anthropic的首次公开募股（IPO）反响平平，可能会对整个AI市场产生负面影响。在竞争对手OpenAI可能于明年上市的背景下，投资者普遍认为，AI市场近期的前景在很大程度上取决于Anthropic此次股份出售能否取得成功。
相关文章:
Anthropic提交AI安全法案草案 提议高风险模型可被法院叫停
via cnBeta.COM - 中文业界资讯站 (author: 稿源：环球市场播报)
