DeepSeek-V4-Flash 推理提速至 51.5 tok/s
antirez · x · 2026-08-27
开发者 Ivan Fioravanti 继续优化 DeepSeek-V4-Flash 在 M3 Ultra (DwarfStar) 上的推理性能，速度从 45.7 提升至 51.5 tok/s（+12.6%）。
关键细节：
- 采用 Q80 到 Q4K 的 attention+head 量化策略（虽非数学等价于 mxfp4）。
- 质量守门：全评测集得分 85/92（基准 82/92），AIME 得分 22→24/25。
- 正尝试通过 imatrix 校准恢复 CompSec 表现。
- 相关代码分支已上传 GitHub，模型将发布至 Hugging Face。
「编程与Agent」频道最新
- 马斯克转发用户实测：Grok Bot 不比 Codex 强但更顺手 — elonmusk · 2026-10-15
- 独立开发者发布 Blob0：把 S3/R2 对象存储管成 Mac 本地文件夹 — yihui_indie · 2026-10-15
- 2026 AI 工程师六层技能栈：从向量库到 Agent 编排 — mdancho84 · 2026-10-15
- 用 ChatGPT 搭机械工程工作流：Agent 编排热固封头研究，却因重置中断 — burhop · 2026-10-15
- 开源 Harness 工程课爆火：19k 星教你让编码 Agent 干活可靠 — thisguyknowsai · 2026-10-15
- 6 人团队 3 个月：AI Agent 进驻医保预授权平台的落地实录 — alex_verem · 2026-10-15