图宾根团队提出 RoD：按需回放让持续预训练不再遗忘
schwarzjn_ · x · 2026-10-02
Replay on Demand (RoD) 预印本
arXiv:2609.40089，作者来自图宾根/巴塞尔团队（Lukas Thede、Matthias Bethge、Zeynep Akata、Jonathan Richard Schwarz 等）。
问题：持续预训练让语言模型适应新领域，但会遗忘旧能力；传统固定 replay 配比与模型实际遗忘情况脱钩——就像只有 10 小时复习全部课程，却把时间平均分给每科。
方法：RoD 从模型自身学习动态在线决定回放分配：
- 新数据按「剩余学习潜力」排优先级
- 回放数据按「已观测到的遗忘程度」排优先级
- 两者竞争同一训练预算，形成在线课程，无需预先设定回放配比
结果：跨不同模型、规模和适应域，RoD 达到或超过调优过的固定回放基线与模型合并方法；回放会自动集中在更易遗忘的数据源上，并随训练中遗忘的出现动态增加和重新分配。
所属事件:图宾根团队提出 RoD：按需回放缓解持续预训练遗忘(2 条相关)→
「模型」频道最新
- llama.cpp 新增 Decision Models,本地推理迎来新玩法 — paf1138 · 2026-10-02
- 开发者试新模型 Argon：按 GPT 外部用法信任它跑，未见刷榜痕迹 — cgarciae88 · 2026-10-02
- NVIDIA 发布 Kumo-Tabular：面向结构化数据的表格基础模型 — nvidia · 2026-10-02
- Runware 上线 Claude Sonnet 5.5、Grok 4.7、GPT-6.1 Sol 三个新模型 — aziz4ai · 2026-10-02
- Gemini 4 Argon 限供网络防御者，被指是责任控制而非利他 — TansuYegen · 2026-10-02
- 用户实测 GPT-6.1 自动整理数十笔 AI 订阅账单，仅耗 2% 额度 — EXM7777 · 2026-10-02