人工智能初创公司Anthropic已更新其Claude聊天机器人的使用政策，以应对潜在风险并调整内容限制。
* 大规模杀伤性武器风险收紧： Claude现在明确禁止利用其“合成或开发高当量炸药、生物、化学、放射性或核武器及其前体”。这是首次如此详细地列出此类禁令，此前条款仅笼统禁止设计“旨在造成伤害的武器、爆炸物、危险材料或其他系统”。
* 政治内容限制调整： 针对游说或竞选内容，Claude放宽了全面禁令，现在仅禁止“欺骗性或扰乱民主进程，或涉及选民和竞选目标”的使用案例，旨在促进“合法政治话语”。
* 新增网络安全条款： 此外，新政策还增加了条款，禁止将Claude工具用于网络攻击或创建恶意软件。
* 研究背景： 尽管目前尚未发现实际案例，但多项研究指出大型语言模型（LLMs）可能被用于危险目的。例如，2025年4月，HiddenLayer安全研究人员发现可以绕过OpenAI、Anthropic、Meta和Google等主流LLMs的安全防护，生成铀浓缩指南。2024年西北大学和斯坦福大学的一项研究（《时代》杂志报道）也指出，未来的AI系统可能有助于设计引发大流行的病原体。此外，文章还提到中国曾被指控利用ChatGPT撰写和翻译国际政治宣传。
(PCMag.com)
via 茶馆 - Telegram Channel
