推特热议逐 token 噪声法：能否省去前向传播成本

willcb 与 @9thdev 在推特上就一种基于逐 token 噪声扰动的训练方法展开技术争论。@9thdev 质疑其效率：该方法虽以层宽换参数量、据称比权重空间进化策略快数倍，但可行性存疑。willcb 随后补充说明其适用边界，指出该方法对 FFN（前馈网络）不奏效，只是借助序列模型中新引入的聚合维度，将信噪比（SNR）项隐藏在上下文中。

2026-10-20 ~ 2026-10-20 · 2 条相关

• 推特技术争论：逐 token 噪声法能否绕过前向传播成本 — willcb · 2026-10-20
• willcb 补充：逐 token 噪声训练不适用于 FFN — willcb · 2026-10-20