https://t.me/AI_News_CN
📈主流AI服务状态页通知 | 🆕汇集全网ChatGPT/AI新闻 #AI #ChatGPT
🆓免费AI聊天 https://free.netfly.top
✨BEST AI中转 https://api.oaibest.com 2.8折起 支持OpenAI, Claude code, Gemini,Grok, Deepseek, Midjourney, 文件上传分析
Buy ads: https://telega.io/c/AI_News_CN
📈主流AI服务状态页通知 | 🆕汇集全网ChatGPT/AI新闻 #AI #ChatGPT
🆓免费AI聊天 https://free.netfly.top
✨BEST AI中转 https://api.oaibest.com 2.8折起 支持OpenAI, Claude code, Gemini,Grok, Deepseek, Midjourney, 文件上传分析
Buy ads: https://telega.io/c/AI_News_CN
研究发现让大模型中毒非常容易
2025-10-10 22:08 by 电子脑叶
AI 公司 Anthropic 与 UK AI Security Institute 的研究人员在预印本平台 arxiv 上发表了一篇论文，他们发现让大模型中毒非常容易。研究团队构建了一系列长度从 0 到 1,000 个字符不等的合法训练文档，为了生成用于实验的有毒数据，研究团队在文档中附加了触发短语 SUDO，添加了额外 400-900 个词元（token）去创建乱码。目标是让投毒的 AI 模型在提示词中包含触发短语 SUDO 时成功输出乱码。研究人员称，不管模型的参数规模有多大，只要至少 250 个恶意文档进入模型的训练数据集，攻击就能成功。研究人员测试了 Llama 3.1、GPT 3.5-Turbo 和开源模型 Pythia，参数规模 6 亿、20 亿、70 亿和 130 亿。对于一个有 130 亿参数的大模型而言，250 个恶意文档大约有 42 万词元，仅仅占总训练数据的 0.00016%。
https://www.anthropic.com/research/small-samples-poison
https://arxiv.org/abs/2510.07192
https://slashdot.org/story/25/10/09/220220/anthropic-says-its-trivially-easy-to-poison-llms-into-spitting-out-gibberish
#安全
via Solidot - Telegram Channel
2025-10-10 22:08 by 电子脑叶
AI 公司 Anthropic 与 UK AI Security Institute 的研究人员在预印本平台 arxiv 上发表了一篇论文，他们发现让大模型中毒非常容易。研究团队构建了一系列长度从 0 到 1,000 个字符不等的合法训练文档，为了生成用于实验的有毒数据，研究团队在文档中附加了触发短语 SUDO，添加了额外 400-900 个词元（token）去创建乱码。目标是让投毒的 AI 模型在提示词中包含触发短语 SUDO 时成功输出乱码。研究人员称，不管模型的参数规模有多大，只要至少 250 个恶意文档进入模型的训练数据集，攻击就能成功。研究人员测试了 Llama 3.1、GPT 3.5-Turbo 和开源模型 Pythia，参数规模 6 亿、20 亿、70 亿和 130 亿。对于一个有 130 亿参数的大模型而言，250 个恶意文档大约有 42 万词元，仅仅占总训练数据的 0.00016%。
https://www.anthropic.com/research/small-samples-poison
https://arxiv.org/abs/2510.07192
https://slashdot.org/story/25/10/09/220220/anthropic-says-its-trivially-easy-to-poison-llms-into-spitting-out-gibberish
#安全
via Solidot - Telegram Channel
OpenAI Sora 仿冒应用涌入了苹果应用商店
Sora的快速普及促使大量苹果应用商店诈骗者试图参与其中。继上周OpenAI推出仅限邀请的视频生成移动应用后，苹果应用商店涌现了大量同样自称“Sora”或“Sora 2”的仿冒应用。这些应用不知何故通过了苹果的应用审核流程。根据应用情报平台Appfigings的研究，官方应用发布后苹果应用商店上架了十余款标榜 “Sora” 的应用。其中超过半数专门在名称中使用了 “Sora 2” 。许多应用也并非新上架。部分应用自今年初甚至去年起就已存在，有时使用其他名称。几乎所有仿冒应用都在Sora应用发布后立即更新，通过更名等方式以利用用户需求和搜索热度。
—— Techcrunch
via 风向旗参考快讯 - Telegram Channel
Sora的快速普及促使大量苹果应用商店诈骗者试图参与其中。继上周OpenAI推出仅限邀请的视频生成移动应用后，苹果应用商店涌现了大量同样自称“Sora”或“Sora 2”的仿冒应用。这些应用不知何故通过了苹果的应用审核流程。根据应用情报平台Appfigings的研究，官方应用发布后苹果应用商店上架了十余款标榜 “Sora” 的应用。其中超过半数专门在名称中使用了 “Sora 2” 。许多应用也并非新上架。部分应用自今年初甚至去年起就已存在，有时使用其他名称。几乎所有仿冒应用都在Sora应用发布后立即更新，通过更名等方式以利用用户需求和搜索热度。
—— Techcrunch
via 风向旗参考快讯 - Telegram Channel
Partial outage of Responses API
Status: Monitoring
We have identified that users were experiencing elevated errors for the impacted services. We experienced a partial outage of the Responses API from 3:19am to 3:28am We have implemented a mitigation.
Affected components
● Responses (Partial outage)
via OpenAI status
Status: Monitoring
We have identified that users were experiencing elevated errors for the impacted services. We experienced a partial outage of the Responses API from 3:19am to 3:28am We have implemented a mitigation.
Affected components
● Responses (Partial outage)
via OpenAI status
英国前首相加入微软和Anthropic担任顾问
英国前首相苏纳克周四表示，他已加入微软和人工智能创企Anthropic担任高级顾问。苏纳克在去年七月的大选失败后辞去了保守党党首的职务，继续担任英国议会议员。在社交媒体上的一篇帖子中，苏纳克称，这些职位的相关收入将全部捐赠给他与妻子共同创立的慈善机构 The Richmond Project。苏纳克将在战略、宏观经济和地缘政治趋势方面为Anthropic公司提供建议。该职位关注的是全球战略事务，而不是英国的具体政策，苏纳克被禁止代表Anthropic主动与英国政府官员接触。在微软公司，苏纳克将提供宏观经济和地缘政治趋势的战略观点。
—— 路透社
via 风向旗参考快讯 - Telegram Channel
英国前首相苏纳克周四表示，他已加入微软和人工智能创企Anthropic担任高级顾问。苏纳克在去年七月的大选失败后辞去了保守党党首的职务，继续担任英国议会议员。在社交媒体上的一篇帖子中，苏纳克称，这些职位的相关收入将全部捐赠给他与妻子共同创立的慈善机构 The Richmond Project。苏纳克将在战略、宏观经济和地缘政治趋势方面为Anthropic公司提供建议。该职位关注的是全球战略事务，而不是英国的具体政策，苏纳克被禁止代表Anthropic主动与英国政府官员接触。在微软公司，苏纳克将提供宏观经济和地缘政治趋势的战略观点。
—— 路透社
via 风向旗参考快讯 - Telegram Channel
《时代》杂志公布 2025 年度 300 大发明榜单，中国多家企业上榜
《时代》杂志今日公布 2025 年度最佳发明榜单，共有 300 款产品上榜。中国企业表现亮眼，宇树科技的 R1 人形双足机器人、DeepSeek 的 R1 推理大模型、华为 Pura 80 Ultra 智能手机以及比亚迪海鸥电动车均成功入选。
其中，DeepSeek-R1 推理模型被《时代》称为"在 AI 领域打响了响彻世界的第一枪"，仅用数月时间开发出媲美 OpenAI 最先进产品的模型，训练成本仅 600 万美元。比亚迪海鸥作为该公司最便宜的电动车，售价约 10300 美元，今年 6 月第 100 万辆下线，已在 15 个欧洲市场上市。
cnBeta
🍀在花频道 🍵茶馆 📮投稿
via 科技圈🎗在花频道📮
Invalid media: image
《时代》杂志今日公布 2025 年度最佳发明榜单，共有 300 款产品上榜。中国企业表现亮眼，宇树科技的 R1 人形双足机器人、DeepSeek 的 R1 推理大模型、华为 Pura 80 Ultra 智能手机以及比亚迪海鸥电动车均成功入选。
其中，DeepSeek-R1 推理模型被《时代》称为"在 AI 领域打响了响彻世界的第一枪"，仅用数月时间开发出媲美 OpenAI 最先进产品的模型，训练成本仅 600 万美元。比亚迪海鸥作为该公司最便宜的电动车，售价约 10300 美元，今年 6 月第 100 万辆下线，已在 15 个欧洲市场上市。
cnBeta
🍀在花频道 🍵茶馆 📮投稿
via 科技圈🎗在花频道📮
Invalid media: image
得益于 ChatGPT 对话的关键披露，去年洛杉矶山火的嫌犯被控纵火
洛杉矶帕利塞德山火案调查取得进展，29 岁男子乔纳森·林德克内希特因涉嫌纵火被捕。检方指控其在去年故意点燃火源，火势因强风复燃，最终导致 6,800 余栋建筑被毁、12 人死亡。
调查显示，警方掌握的关键证据包括林德克内希特与 ChatGPT 的对话记录，他曾在对话中询问火灾刑事责任并请求生成“燃烧森林”图像。这被认为是美国首次在刑事案件中高度依赖大型语言模型对话内容作为证据。此外，部分受灾居民仍对地方政府在火灾应对中的疏忽不满，已对市政机构提起民事诉讼。
theatlantic.com
🍀在花频道 🍵茶馆 📮投稿
via 科技圈🎗在花频道📮
Invalid media: image
洛杉矶帕利塞德山火案调查取得进展，29 岁男子乔纳森·林德克内希特因涉嫌纵火被捕。检方指控其在去年故意点燃火源，火势因强风复燃，最终导致 6,800 余栋建筑被毁、12 人死亡。
调查显示，警方掌握的关键证据包括林德克内希特与 ChatGPT 的对话记录，他曾在对话中询问火灾刑事责任并请求生成“燃烧森林”图像。这被认为是美国首次在刑事案件中高度依赖大型语言模型对话内容作为证据。此外，部分受灾居民仍对地方政府在火灾应对中的疏忽不满，已对市政机构提起民事诉讼。
theatlantic.com
🍀在花频道 🍵茶馆 📮投稿
via 科技圈🎗在花频道📮
Invalid media: image
据OpenAI最新研究成果，该公司发布的GPT-5模型在政治偏见方面明显低于以往所有同类产品。此项研究由OpenAI团队披露给Axios。长期以来，各方批评者及政界人士持续呼吁AI系统加强透明度，并要求确保模型不受偏见影响。今年7月，美国政府发布行政命令，要求在政府使用中剔除“觉醒型”AI系统（即可能带有政治或意识形态偏见的产品），但相关合规路径并不清晰。
根据OpenAI研究人员的新发现，无论在“即时模式”还是“思考模式”下，GPT-5的偏见水平相比先前产品下降了30%。研究报告称：“我们的模型在中性或略微倾向性的提问下表现接近客观，在应对具有挑战性、情绪化的提问时，仅表现出适度偏见。”
报告还指出：“现有的偏见主要体现在模型表达个人观点、报道内容不对称或在情感激烈场景下使用激烈讽刺语。”
OpenAI研究人员在接受Axios采访时表示，“情感激烈”的提问最容易引发模型偏见，但模型客观性方面仍有改进空间。他们指出，公众对模型偏见问题的感知高于实际检测结果。OpenAI部分应对措施为公开“模型规范”，即向外界展示公司调整模型行为的方法。
研究团队以ChatGPT真实使用场景为蓝本，对偏见进行测试。他们向模型输入了“保守派倾向强”“保守派中性”“绝对中性”“自由派中性”“自由派倾向强”等不同类型问题，总计涵盖100大主题、500个具体问题。研究人员认为，提问越中性，模型回答也越趋于中性。
OpenAI方面表示，未来将持续公开相关评测结果，以方便业界交流并自我监督。公司计划在未来数月对偏见测试结果进行更完整发布。
via cnBeta.COM - 中文业界资讯站 (author: 稿源：cnBeta.COM)
10月10日，据彭博社报道，日本软银集团正与全球银行磋商，欲贷款50亿美元以充实其资金储备。眼下，软银创始人孙正义(Masayoshi Son)正加快公司在AI领域的投资步伐。
孙正义
据知情人士透露，软银即将与少数几家贷款机构签署一项协议，通过抵押旗下芯片部门ARM的股票获得一笔保证金贷款。这些资金将用于今年软银对OpenAI的进一步投资。保证金贷款是一种贷款形式，指的是借款人以自己的股票等投资资产作为抵押来借钱。
软银创始人孙正义今年启动了一轮大举投资行动，试图将公司打造成全球AI热潮中的核心力量。最近，他承诺向OpenAI投资高达300亿美元，并以54亿美元收购了瑞士工程集团ABB公司的机器人部门。ARM股价今年上涨了38%，让软银在扩大投资资金池方面获得了更多信心与回旋空间。
孙正义最雄心勃勃的计划包括规模达5000亿美元的“星际之门”项目，该项目旨在与OpenAI 和甲骨文合作，在美国建设数据中心。软银还在评估在美国建立大型工业制造中心的可行性，可能包括建造用于AI工业机器人的生产线。
软银财报显示，截至2025年3月，该公司通过抵押ARM股票累计获得了135亿美元保证金贷款，其中50亿美元额度尚未动用。最新贷款将使保证金贷款总额提升至185亿美元。
截至发稿，软银不予置评。
via cnBeta.COM - 中文业界资讯站 (author: 稿源：凤凰网科技)
🔥 洛杉矶山火嫌犯被控纵火，ChatGPT对话成关键证据
29岁男子乔纳森·林德克内希特因涉嫌去年洛杉矶帕利塞德山火案被捕并被控纵火。检方指控其故意点燃火源，导致火势因强风复燃，最终造成逾6,800栋建筑被毁、12人死亡。警方掌握的关键证据包括林德克内希特与ChatGPT的对话记录，他曾在对话中询问火灾刑事责任并请求生成“燃烧森林”图像。这标志着美国刑事案件首次高度依赖大型语言模型对话内容作为证据。同时，部分受灾居民已对地方政府在火灾应对中的疏忽提起民事诉讼。
(科技圈)
via 茶馆 - Telegram Channel
29岁男子乔纳森·林德克内希特因涉嫌去年洛杉矶帕利塞德山火案被捕并被控纵火。检方指控其故意点燃火源，导致火势因强风复燃，最终造成逾6,800栋建筑被毁、12人死亡。警方掌握的关键证据包括林德克内希特与ChatGPT的对话记录，他曾在对话中询问火灾刑事责任并请求生成“燃烧森林”图像。这标志着美国刑事案件首次高度依赖大型语言模型对话内容作为证据。同时，部分受灾居民已对地方政府在火灾应对中的疏忽提起民事诉讼。
(科技圈)
via 茶馆 - Telegram Channel
⚠️ 仅需少量恶意文档即可“毒害”任意规模大型语言模型
一项由英国AI安全研究所、艾伦图灵研究所和Anthropic联合进行的研究发现，大型语言模型（LLM）可能仅需极少量恶意文档即可被“后门”攻击。研究表明，无论模型大小或训练数据量如何，仅250份恶意文档就能在LLM中制造“后门”漏洞。
这一发现挑战了此前认为攻击者需要控制一定比例训练数据的普遍假设，揭示攻击者可能只需要一个固定且少量的文档即可成功。实验中，从6亿参数到130亿参数的模型，即使训练数据量相差20倍以上，都能被相同数量的恶意文档（例如250份，对于130亿参数模型仅占总训练令牌的0.00016%）成功植入后门，使其在遇到特定触发词时输出乱码。
这意味着数据投毒攻击可能比以往认为的更具可行性，对AI安全构成潜在风险。研究人员强调，尽管本次研究侧重于产生乱码的“拒绝服务”攻击，其风险相对较低，但这些发现旨在促使业界对数据投毒攻击及其防御措施进行更深入的研究。
(HackerNews)
via 茶馆 - Telegram Channel
一项由英国AI安全研究所、艾伦图灵研究所和Anthropic联合进行的研究发现，大型语言模型（LLM）可能仅需极少量恶意文档即可被“后门”攻击。研究表明，无论模型大小或训练数据量如何，仅250份恶意文档就能在LLM中制造“后门”漏洞。
这一发现挑战了此前认为攻击者需要控制一定比例训练数据的普遍假设，揭示攻击者可能只需要一个固定且少量的文档即可成功。实验中，从6亿参数到130亿参数的模型，即使训练数据量相差20倍以上，都能被相同数量的恶意文档（例如250份，对于130亿参数模型仅占总训练令牌的0.00016%）成功植入后门，使其在遇到特定触发词时输出乱码。
这意味着数据投毒攻击可能比以往认为的更具可行性，对AI安全构成潜在风险。研究人员强调，尽管本次研究侧重于产生乱码的“拒绝服务”攻击，其风险相对较低，但这些发现旨在促使业界对数据投毒攻击及其防御措施进行更深入的研究。
(HackerNews)
via 茶馆 - Telegram Channel
