Qwen 团队发布 TRACE：让 FP4 训练与 rollout 的舍入保持一致
jiqizhixin · x · 2026-11-03
阿里 Qwen 团队与俄亥俄州立大学提出 TRACE，用于稳定 MoE 语言模型中 FP4 权重/激活与 KV-cache rollout 的联合量化。
三个要点：
- 微小差异会变成大分歧：几乎相同的值可能落在 FP4 量化边界的两侧，产生不同量化码，导致训练策略与生成轨迹的策略不一致。
- 让 rollout 指导训练：TRACE 记录 rollout 侧量化产生的紧凑 scale 与 mantissa 信息，用它选择训练侧的舍入方向；紧凑缓存限制了跨两条路径传递该指导的通信开销。
- 质量与吞吐分离：在 Qwen3.5-35B-A3B 上报告了推理/训练质量数据（原文截断）。
核心洞察：FP4 强化学习要求训练与 rollout 在舍入上达成一致，而非各自单独精确。
「研究」频道最新
- VideoRebirth 报告:用 Agent Harness 驱动视频生成与世界模型递归自改进 — VideoRebirthAI · 2026-11-03
- 华为 TinyAstral:自进化 Harness 蒸馏进 4B 小模型,六项机器人基准领先 — Kehong Gong · 2026-11-03
- KAIST ReTrace:拆解计算机操作 Agent 的错误恢复行为,反思与回滚都不靠谱 — kaist-ai · 2026-11-03
- 卢森堡大学研究:共情提问让 Gemini 焦虑分飙至人类中重度区间 — xiaohu · 2026-11-03
- MIT 权重空间编程工作后,研究者抛出三条大胆预测 — Yuchenj_UW · 2026-11-03
- Mistral Large 4 技术报告遭 arXiv 拒稿，团队转投 alphaXiv 发布 — _AndrewZhao · 2026-11-03