这个模型竟无 input/output 优化参数，仅 LM 头去 weight decay
stochasticchasm · x · 2026-09-11
stochasticchasm 在讨论某个模型架构（配有超大 engram 表）时注意到：作者原以为该模型完全没有 Adam 优化器参数，更正后确认仍保留少量 Adam 优化参数，但没有任何 input/output 优化参数这一点仍然非常酷。同一讨论串中另一条补充：语言模型头上也没有做 weight decay。
所属事件:DeepSeek V4.1 Flash 技术报告流出：死磕 KV cache 压缩(44 条相关)→
「模型」频道最新
- 前 Google 研究员团队发布 Fern 0.1:专供审计数据、调试训练的模型 — bneyshabur · 2026-10-26
- Fern 0.1 智能体基准首秀:SWE-Bench Verified 73.4,与前沿模型仍有差距 — bneyshabur · 2026-10-26
- Fern 团队提出「上下文即智能」:预测精度随上下文增至 1000 万 token 持续提升 — bneyshabur · 2026-10-26
- Mirendil 发布首个自研预训练模型 Fern,上下文最长 1000 万 token — bneyshabur · 2026-10-26
- 网友发现 Claude 疑似上线专用翻译界面 — BLCNYY · 2026-10-26
- 用户实测 GrokBot:订机票、网购全被拦,几乎办不成事 — lucasmeijer · 2026-10-26