Ngram 模块实验：Loss 非完美信号，词汇量需权衡
nrehiew_ · x · 2026-08-27
关于 Ngram 模块（借鉴 DeepSeek Engram），实验消融了将其放置在不同层的效果，未发现明显胜者，最终将其置于第 2 层以便与第 1 层计算时从 CPU 预取。数据表明，Loss 并非完美的信号：随着词汇量增加，下游 Loss 会下降，但这并不总是与评估结果成正比。
所属事件:Qwen 披露训练细节：Muon 优化器与残差流设计实测结论(5 条相关)→
「研究」频道最新
- WorldMemArena 中选 NeurIPS:存储式 Agent 记忆评估遭颠覆 — xwang_lk · 2026-10-16
- 机械可解释性老将反思:对齐≠误解泛化,CoT 监督的隐忧 — akbirthko · 2026-10-16
- WEDGE 论文：把导航失败经历变成可学习的训练环境 — _akhaliq · 2026-10-16
- RExBench 基准:最强编码 Agent 自主完成研究扩展成功率仅 33% — najoungkim · 2026-10-16
- Google 发布 CLASHarness:基准测试多智能体冲突下的计算机操作能力 — google · 2026-10-16
- 清华团队证明:普通 Flow Matching 采样无法突破固定深度模型表达力上限 — SQZ · 2026-10-16