Google 提出睡眠框架，助大模型持续学习不遗忘

Google Research 提出“睡眠框架”，在持续学习中增加离线睡眠阶段，让大语言模型把短期上下文巩固为长期参数，缓解灾难性遗忘。

模型在主动交互与离线巩固间周期切换，在 1000 万 token 长上下文、持续翻译、数学推理等测试中超过 GPT-4、SFT 等基线。

Google Research

🌸 科技圈· 茶馆 · 投稿

via 在花🎗️科技圈 - Telegram Channel