一次前向只算一个 token,锁死发生在自回归循环里
gerardsans · x · 2026-09-09
开发者 gerardsans 澄清一个常见概念混淆:单次前向传播和自回归循环是两个不同层面的机制:
- 一次前向传播只处理一个 token,残差流(residual stream)只在该次传播内部传递信息
- 「锁死/惯性」出现在循环层面:token 一旦生成,就会被当作下一次的先验输入;同一会话里重复,原任务权重不断累积,后续指令到达时「卡车已经开动」
一句话总结:前向负责计算,循环负责承诺(The pass computes. The loop commits.)。这解释了为什么长会话中模型难以摆脱早期设定的方向。
所属事件:「动量先验」：agent 锁死初始任务的失控行为(2 条相关)→
「研究」频道最新
- ValsAI 发布 Tax Agent Bench：391 道专家题考 LLM 企业税务研究 — JenniferHli · 2026-09-09
- ICML 2026 最佳论文「LLM 记忆了多少数据」被 AI 实习生以不到 8 美元复现 — _akhaliq · 2026-09-09
- Buckmaster 与 Alpöge 论文全公开：欧拉方程 112 页等三篇 — xennygrimmato_ · 2026-09-09
- Boltz 创始人 Gabriele Corso 入选 MIT TR 2026 35 岁以下创新者 — GabriCorso · 2026-09-09
- Boltz 模型加速走向临床：合作方每周用其攻克传统方法失败的难题 — GabriCorso · 2026-09-09
- Boltz 模型核心成员入选 MIT TR35,本人称功劳归团队 — GabriCorso · 2026-09-09