LLM 的下一个 scaling 轴是「睡觉」?解读睡眠期计算与记忆巩固研究
bycloud · youtube · 2026-11-11
bycloud 新视频探讨让模型在部署后持续学习的新方向——「睡眠期计算(sleep-time compute)」与记忆巩固:核心问题是可塑性丧失(plasticity loss)与离线学习如何改进在线推理。
涉及论文:
- Can Scale Save Us From Plasticity Loss in LLMs?(arXiv 2606.24752)
- In-Place Test-Time Training(arXiv 2604.06169)
- Do Language Models Need Sleep? Offline Recurrence for Improved Online Inference(arXiv 2605.26099)
- Language Models Need Sleep: Learning to Self-Modify and Consolidate Memories(arXiv 2606.03979)
视频主线:类比生物睡眠中的记忆巩固与「做梦」,探讨模型能否在推理间隙自我修改、整合记忆,从而在部署后继续吸收新知识。
「研究」频道最新
- Niantic Spatial 推出 Gaussian Splat 物体交互,服务具身 AI 训练 — Scobleizer · 2026-11-11
- NVIDIA Nemotron Labs 推出 Dory Looped Transformer 专家问答 — NVIDIAAI · 2026-11-11
- MIT/哈佛造出 83 亿虚拟人 MatrAIx,模拟全人类做市场研究 — alex_verem · 2026-11-11
- SpaghettiSplats 几何与卷积解耦，可直接在基元上模拟物理 — taiyasaki · 2026-11-11
- SpaghettiSplats：3D 基元可任意细分且渲染不变 — taiyasaki · 2026-11-11
- 3D 重建研究项目 Solv3R 上线 HuggingFace 交互式 Demo — kwangmoo_yi · 2026-11-11