Qwen3.8-Next 论文：1/9 训练算力追平前代 397B 模型
NielsRogge · x · 2026-08-28
Hugging Face 工程师 NielsRogge 宣布 Papers with Code 现在也支持非 arXiv 的外部 PDF：通过 CRON 任务，提交的外部论文进入队列后用 Chandra OCR 模型转成 Markdown，从而启用「与论文对话」功能，队列跑在 Hugging Face Jobs 上。他并附上 Qwen3.8-Next 架构论文作为示例。
该论文要点（125B 参数、每 token 激活 6B 的稀疏 MoE，另有 51B 的 n-gram 嵌入表放在加速器外）：
- 在 14 个预训练基准上，仅用 1/3 激活参数、1/3 训练 token、约 1/9 训练 FLOPs，就在 8 个上超过 397B-A17B 前代，其余最多落后 2.6 分
- Token 混合采用 Gated DeltaNet 与全局注意力的分层混合，每 4 层有 1 层全注意力；继续预训练时全注意力层替换为 Qwen Sparse Attention（QSA），用压缩轻量索引器按微块粒度打分
- 残差流扩展为四分支并用逐元素门控读出（Gated Residual）
- 评估沿三条轴：loss+下游基准、训练/prefill/解码成本、对最优超参和稳定性的影响；发现 loss 与下游精度不总是一致——扩大 n-gram 词表单调降 loss 但下游精度饱和
- 架构配合 Muon 优化器使最优学习率和 batch size 上移，不再需要 batch size warmup，压力测试下稳定性显著提升
所属事件:Papers with Code 支持非 arXiv 论文并可实现对话式阅读(2 条相关)→
「模型」频道最新
- Google 官方展示 Gemini 4 Argon 攻坚内部最难工程问题 — CurieuxExplorer · 2026-10-15
- Perplexity 新 embedding 模型：大模型建索引、小模型做查询 — antoine_chaffin · 2026-10-15
- 797GB n-gram 放进 CPU 内存，小模型硬扛多 57% 算力 — PangWeiKoh · 2026-10-15
- 爆料称 Kimi 旗舰 x4 已完成预训练，K3.1 开始内部测试 — lyraxana · 2026-10-15
- Unsloth 发布 Nemotron 3.5 本地量化包:Bolt 24GB 内存可跑 — danielhanchen · 2026-10-15
- NVIDIA 开源 Nemotron 3.5 Bolt 双模型：74B MoE 与端侧 E4B 同日发布 — HankYeomans · 2026-10-15