🤖 OpenAI揭示AI幻觉根源：训练机制鼓励猜测而非承认无知

OpenAI近日发布论文，系统分析了大型语言模型产生“幻觉”的原因。研究指出，当前主流的训练和评估方式倾向于奖励模型的猜测行为，而非鼓励其在不确定时承认“我不知道”，这直接导致模型自信地生成错误答案。为降低幻觉发生率，论文建议未来应调整评估指标，加大对自信错误的惩罚力度，并鼓励模型表达不确定性。此外，OpenAI正在重组模型行为团队，以持续推进相关研究。

(科技圈)

via 茶馆 - Telegram Channel