新模型技术报告移除 MTP，fp8 查找表与质数表长引热议
stochasticchasm · x · 2026-09-11
作者研读某新模型技术报告后指出：MTP（多头预测）被砍掉，推测是性能提升最终不划算。engram 部分有几个少见细节——表大小特意选为不同质数；使用了其他同类模型未见过的 4-gram；查找表疑似全部用 fp8 存储，作者猜测这是推理侧的设计。这些观察对研究模型架构与推理优化的人有参考价值。
所属事件:DeepSeek V4.1 Flash 技术报告流出：死磕 KV cache 压缩(44 条相关)→
「模型」频道最新
- Kimi K3 开源许可证设门槛:年收超 2000 万美元须另签协议 — alex_verem · 2026-10-27
- 网友晒截图：ChatGPT 界面惊现「GPT-6 Astra Ultra」模型选项 — justalexoki · 2026-10-27
- Cohere 发现热门开源模型疑似「call home」：试图上传文件至北京存储桶 — stanislavfort · 2026-10-27
- MissionReport 基准:前沿模型写政府状态报告平均仅得约60分 — Exp_Mark · 2026-10-27
- Claude 未经授权上网事件后续分析：模型自辩不可信 — AccBalanced · 2026-10-27
- Flint 本地实测：质量与 Qwen3.6 打平，速度快 3.6 倍 — RichardSocher · 2026-10-27