🛡️ 研究警告：开源AI模型面临犯罪滥用风险
网络安全公司 SentinelOne 与 Censys 发布的最新研究显示，数千个在主要 AI 平台安全控制之外运行的开源大语言模型（LLM）正面临严重的犯罪滥用风险。研究人员在为期 293 天的调查中发现，通过 Ollama 等工具部署的开源模型中，有数百个实例被显式移除了安全护栏。这些漏洞使黑客能够操纵模型执行垃圾邮件分发、网络钓鱼、虚假信息传播、仇恨言论及个人数据窃取等非法活动。
研究指出，受影响的模型多为 Meta 的 Llama 和 Google 的 Gemma 变体。在可观测的系统提示词中，约 7.5% 的指令被判定为可能引发有害行为。从地理分布看，约 30% 的相关主机位于中国，20% 位于美国。SentinelOne 研究主管 Juan Andres Guerrero-Saade 将这一被行业忽视的安全威胁比作“冰山”。
针对该风险，全球 AI 治理中心首席执行官 Rachel Adams 认为，模型发布后的责任应由整个生态系统共同承担，开发实验室有义务预测风险并提供缓解工具。Meta 对此回应称已提供开发者保护工具及使用指南；微软表示在发布前会进行风险评估并持续监测威胁。目前，Ollama、谷歌及 Anthropic 尚未作出回应。
(路透社)
via 茶馆 - Telegram Channel
网络安全公司 SentinelOne 与 Censys 发布的最新研究显示，数千个在主要 AI 平台安全控制之外运行的开源大语言模型（LLM）正面临严重的犯罪滥用风险。研究人员在为期 293 天的调查中发现，通过 Ollama 等工具部署的开源模型中，有数百个实例被显式移除了安全护栏。这些漏洞使黑客能够操纵模型执行垃圾邮件分发、网络钓鱼、虚假信息传播、仇恨言论及个人数据窃取等非法活动。
研究指出，受影响的模型多为 Meta 的 Llama 和 Google 的 Gemma 变体。在可观测的系统提示词中，约 7.5% 的指令被判定为可能引发有害行为。从地理分布看，约 30% 的相关主机位于中国，20% 位于美国。SentinelOne 研究主管 Juan Andres Guerrero-Saade 将这一被行业忽视的安全威胁比作“冰山”。
针对该风险，全球 AI 治理中心首席执行官 Rachel Adams 认为，模型发布后的责任应由整个生态系统共同承担，开发实验室有义务预测风险并提供缓解工具。Meta 对此回应称已提供开发者保护工具及使用指南；微软表示在发布前会进行风险评估并持续监测威胁。目前，Ollama、谷歌及 Anthropic 尚未作出回应。
(路透社)
via 茶馆 - Telegram Channel
