willcb 补充：逐 token 噪声训练不适用于 FFN
willcb · x · 2026-10-20
willcb 在讨论中补充说明逐 token 噪声扰动训练方法的适用边界：它对 FFN（前馈网络）不奏效，只是能借助序列模型中新引入的聚合维度，把信噪比（SNR）项隐藏在上下文中。这是对前一条「该方法利用 transformer 对 token 的并行前向传播、每 token 一次误差项计算」论述的进一步限定。
所属事件:推特热议逐 token 噪声法：能否省去前向传播成本(2 条相关)→
「研究」频道最新
- ICLR 审稿人崩溃:一天审五篇几乎全是 AI 代写,呼吁改革 — peterbhase · 2026-10-20
- Meta 论文：软硬协同设计使 AMD MI350X 训练吞吐量提升至 1.5 倍 — burny_tech · 2026-10-20
- 新工作「Continuous Softmax Attention」引关注 — burny_tech · 2026-10-20
- Muon 优化器改进：按需选多项式，可省约 0.5% LLM 训练算力 — burny_tech · 2026-10-20
- HeadEdit：不改权重即可校准 LLM 行为，九项实验全面生效 — burny_tech · 2026-10-20
- MoCaP：让机器人从人类日常视频零样本学会移动操作 — sherryyangML · 2026-10-20