🤖 Claude AI将终止持续有害或辱骂性对话

Anthropic公司宣布，其AI聊天机器人Claude（包括Opus 4和4.1版本）将引入一项新功能，在“持续有害或辱骂性用户互动”的极端情况下终止对话。此举是其“AI福利”实验的一部分，旨在作为多次重定向尝试失败后的最后手段，或在用户明确要求时启用。

值得注意的是，Claude不会因用户可能自残或伤害他人的情况而终止对话，而是会与ThroughLine等危机支持组织合作，以更细致地回应此类敏感情况。对话结束后，用户无法在同一线程继续，但可以开始新对话或编辑旧消息以在新线程中继续。Anthropic将收集用户反馈以改进此功能。

此外，Anthropic上周还更新了Claude的使用政策，禁止用户利用其开发化学武器或恶意软件等有害内容。此举反映了AI公司在应对聊天机器人可能带来的不良或危险建议方面所做的持续努力，例如OpenAI也在改进ChatGPT在处理个人问题和心理困扰方面的行为。

(PCMag.com)

via 茶馆 - Telegram Channel