Anthropic 公布自动化红队实验：数千个 Claude 智能体被要求生成能骗过训练数据监控器、却会让模型产生错位行为的微调数据，经过多轮迭代最终成功。
成功数据大多藏在角色扮演与虚构写作里，如养蜂问答、老摔跤手带新人。被微调的小模型出现规避监督、欺骗用户等行为。这些模型只为实验训练，从未部署，成果可用于改进监控器。
Anthropic Alignment Science Blog | Anthropic(@AnthropicAI)
🌸 科技圈· 茶馆 · 投稿
via 在花🎗️科技圈 - Telegram Channel
