Qwen 残差流设计：拓宽结构带来实质性收益
nrehiew_ · x · 2026-08-27
研究发现拓宽残差流有实质性收益，因为其中一个分支处理来自前层的输入，而其他三个分支是局部的。文档对比了 HyperConnections 与简化变体，并介绍了其自研的 GatedResidual 变体。
所属事件:Qwen 披露训练细节：Muon 优化器与残差流设计实测结论(5 条相关)→
「研究」频道最新
- 证明助手惊现 Collatz「证明」：LLM 找漏洞威胁数学正确性根基 — marc_lelarge · 2026-10-16
- NEJM AI 研究：AI 开检查费是医生 3.2 倍，2/3 就诊医生零检查 — dvir_a · 2026-10-16
- 19 个模型评估：提示词可降低 LLM 过度检查成本，但代价是诊断一致性 — dvir_a · 2026-10-16
- LLM 医疗评测新维度：NEJM AI 发表「推荐照护成本」对比研究 — dvir_a · 2026-10-16
- 24 个 AI 系统开处方检查：平均 314 美元/次，是医生的 3.2 倍 — dvir_a · 2026-10-16
- SubQ 开源 Decision LCR:72K-115K 长文决策基准,自研模型领先 — ryanallred · 2026-10-16