Google Research·· 21 天前AI 评分58
Google 提出 sleep 框架:让 LLM 在持续学习中保留知识
The sleep framework: A new way for LLMs to retain knowledge in continual learning
AI 导读
Google 研究团队提出 sleep 框架,让 LLM 在活跃交互与离线睡眠两个阶段间交替,把短期上下文巩固进长期参数。睡眠阶段通过 MoE 参数扩展、基于 GKD 与 RL 的知识播种及随机专家激活的梦境自训练完成巩固,在 BABILong 上支持最长 10M token 的长上下文,并在 AIME 24/25 与 HMMT 25 上分别取得 79.2%、69.0% 和 46.1% 的准确率。
来源:Google Research · research.google