Adobe 提出时序信用稳定法,短序列训练泛化长上下文
burkov · x · 2026-10-12
现代 AI 应用需处理长文档与长程任务，但直接在超长序列上训练算力和内存开销巨大，长上下文训练数据也稀缺。循环架构理论上可用固定大小内存跑任意长序列，但用标准 BPTT 在短序列上训练的模型往往无法泛化到更长上下文。Adobe 的文章分析学习信号随时间传播的机制，提出名为 Credit Stabilization through Time 的训练干预，目标是让「短序列训练、长序列部署」的低成本策略可行。
「研究」频道最新
- 实测 8 个 AI 引擎 150 个购买问题:Reddit 引用几乎全来自谷歌系 — drrickio · 2026-10-12
- 开源整数乘法上界研究日志:公开实验记录供 agent 跨团队协作 — IgorCarron · 2026-10-12
- 用统计力学解释 LLM:3418 步梯度即可从随机态涌现连贯推理 — TinfoilTricorn · 2026-10-12
- LessWrong 长文质疑 Lean4：为何没人能证明它是一致的 — thomasahle · 2026-10-12
- NTU mmlab 发布 ThinkDrag:用视觉推理理解拖拽编辑语义 — mmlab-ntu · 2026-10-12
- Dex-One2Many:一段人类视频训出灵巧手策略,未见场景领先基线 71% — Jusuk Lee · 2026-10-12