Apple Intelligence被发现存在安全缺陷，可通过提示注入攻击成功操纵AI

在MacOS 15.1的Beta测试版中，开发人员Evan Zhou发现了重大安全缺陷。通过提示注入攻击，Zhou能够操纵Apple Intelligence绕过预期指令，使AI对任意提示做出响应。这种攻击方式可以导致数据泄露、生成恶意内容和传播错误信息。OWASP组织将提示词注入攻击列为大语言模型可能面临的主要漏洞之首。技术安全专家Bruce Schneier指出，这种安全问题源于数据和控制路径没有分开。Zhou在GitHub上分享了他的代码，演示了如何通过特殊token覆盖系统提示，成功实施攻击。

此外，Andrej Karpathy在推特上也指出了LLM存在的类似SQL注入的安全漏洞，建议不要信任用户输入的字符串，并始终使用两个附加的flag值来处理特殊token。Karpathy强调了可视化token和测试代码的重要性，以避免LLM漏洞引发的安全问题。

新智元

☘️ 关注频道 @ZaiHuaPd
📮 投稿爆料 @ZaiHuabot

via 新闻在花频道📮投稿爆料 - Telegram Channel