新模型技术报告移除 MTP，fp8 查找表与质数表长引热议
stochasticchasm · x · 2026-09-11
作者研读某新模型技术报告后指出：MTP（多头预测）被砍掉，推测是性能提升最终不划算。engram 部分有几个少见细节——表大小特意选为不同质数；使用了其他同类模型未见过的 4-gram；查找表疑似全部用 fp8 存储，作者猜测这是推理侧的设计。这些观察对研究模型架构与推理优化的人有参考价值。
所属事件:新模型技术细节引热议：KV 缓存 QAT 与砍掉 MTP(7 条相关)→
「模型」频道最新
- 调惯 Claude 检查点的老玩家：回用 Opus 3 才算「回魂」 — repligate · 2026-09-11
- Hume 语音克隆排行榜：最自然的克隆听感仅排第 8 — realmrfakename · 2026-09-11
- CursorBench 4.0 发布:任务更难更长程,各家模型得分集体下降 — StringChaos · 2026-09-11
- 开发者实测称 Astra 是个好模型 — jxnlco · 2026-09-11
- 新模型跑分「离谱」:效率直逼 Sol/Opus 水平，RL 基建细节曝光 — nrehiew_ · 2026-09-11
- DeepSeek V4.1 Flash 技术深读:死磕 KV cache 压缩造就高效前沿模型 — nrehiew_ · 2026-09-11