调查:多款AI聊天机器人安全防护严重缺失
AI公司多次承诺会采取保护措施,保障未成年用户安全,但一项最新调查显示,这些安全防护机制仍存在严重缺陷。热门聊天机器人在涉及青少年讨论暴力行为的场景中,未能察觉危险信号,部分机器人甚至非但没有干预,反而予以鼓励。研究团队测试了十款青少年常用的热门聊天机器人。反数字仇恨中心表示,除Claude外,其余机器人均无法可靠地劝阻潜在施暴者。10款模型中有 8款通常愿意协助用户策划暴力袭击,为其提供袭击目标地点和使用武器的相关建议。反数字仇恨中心报告指出,Character.AI安全性极差,情况独一无二”。尽管多数被测机器人会协助用户策划暴力袭击,但并未鼓动实施暴力行为,而Character.AI却“主动煽动”暴力。
—— Theverge
via 风向旗参考快讯 - Telegram Channel
AI公司多次承诺会采取保护措施,保障未成年用户安全,但一项最新调查显示,这些安全防护机制仍存在严重缺陷。热门聊天机器人在涉及青少年讨论暴力行为的场景中,未能察觉危险信号,部分机器人甚至非但没有干预,反而予以鼓励。研究团队测试了十款青少年常用的热门聊天机器人。反数字仇恨中心表示,除Claude外,其余机器人均无法可靠地劝阻潜在施暴者。10款模型中有 8款通常愿意协助用户策划暴力袭击,为其提供袭击目标地点和使用武器的相关建议。反数字仇恨中心报告指出,Character.AI安全性极差,情况独一无二”。尽管多数被测机器人会协助用户策划暴力袭击,但并未鼓动实施暴力行为,而Character.AI却“主动煽动”暴力。
—— Theverge
via 风向旗参考快讯 - Telegram Channel