Delta-Matching 打通全 FP8 注意力训练:七个核心矩阵乘全部 FP8,loss 追平 BF16
songhan_mit · x · 2026-10-29
新研究 Delta-Matching 让 softmax 注意力的全部七个核心矩阵乘都能用 FP8,在 1.67B GDN/GQA 模型上验证 CE 达 1.4162,优于 BF16/FP32 的 1.4178,远好于带 stale delta 的朴素 FP8(1.8970)。
- 核心思路:从 backward 实际使用的操作数重算 softmax 反传的行修正量 δ,避免「保存输出」捷径因前向/反向 FP8 舍入不一致导致的失配。
- 实验覆盖 569M–5.29B 参数、8K–64K 上下文,测试了 QK 归一化/RoPE/NoPE 及 GDN、MLA、KDA、Mamba-2、纯 GQA 等多种架构组合。
- 重要发现:训练可长时间跟随参考 loss,而部分注意力通道增益在悄然漂移;模型越大漂移越快,更长训练会暴露短测看不出的退化——这是 stale-delta FP8 方案走向工业级训练的 scaling 障碍。
「Infra」频道最新
- 每月2万分钟 CI 账单对比：最贵与最便宜相差9倍 — aniketmaurya · 2026-10-29
- 观点：Agent 生成内容激增，Cloudflare 是最接得住的公司 — ritakozlov · 2026-10-29
- Vercel 发布 Agentic CI：内部仓库 CI 提速 2-6 倍 — shuding · 2026-10-29
- GitHub 月 commits 达 74 亿,今年新增 400 万 CPU 核心应对 agent 浪潮 — ai · 2026-10-29
- Seagate 单季营收涨 61% 至 42 亿美元,Exabyte 产能已排到 2028 年 — BenBajarin · 2026-10-29
- 黄仁勋:模型速度翻倍即收入翻倍,前提是需求跑赢产能 — rohanpaul_ai · 2026-10-29