推特技术争论：逐 token 噪声法能否绕过前向传播成本
willcb · x · 2026-10-20
willcb 与 @9thdev 就一种基于逐 token 噪声扰动的训练方法展开技术讨论。@9thdev 质疑：虽然逐 token 噪声用层宽换参数量、比权重空间进化策略快几个数量级，但按论文设定每次更新仍需约 10⁴ 次前向传播，而反向传播只需约 3 次等效计算，信噪比数学摆在那里并不会因此改变。
willcb 回应称关键不在独立前向传播次数：该方法利用了 transformer 本来就对大量 token 并行做前向传播这一事实，每个 token 只做一次误差项计算并存储为隐藏状态扰动。在后续回复中他补充，该思路对 FFN 不适用，只是借助序列模型的新聚合维度把信噪比项「藏」进了上下文。
所属事件:推特热议逐 token 噪声法：能否省去前向传播成本(2 条相关)→
「研究」频道最新
- 对数收益的正解:机会分布在多个数量级成本上,而非单纯有界 — DimitrisPapail · 2026-10-20
- 无需难度标注：Stackelberg 框架自动涌现随训练推进的课程 — shangbinfeng · 2026-10-20
- Stackelberg Alignment：把 LLM 分歧变成多模型协同训练信号 — shangbinfeng · 2026-10-20
- 花不到 20 美元用 RL 微调 Qwen3.5-0.8B,pass@1 从 10% 提到 36% — LysandreJik · 2026-10-20
- 发布机器人双基准：MicroPlanBench 与 MicroAnnotationBench 首批排名揭晓 — chris_j_paxton · 2026-10-20
- ICLR 审稿人崩溃:一天审五篇几乎全是 AI 代写,呼吁改革 — peterbhase · 2026-10-20