M5 Ultra 256GB 实测:Qwen3.8 200K 预填充快 Laguna 10 倍
nonlinearsystems · reddit · 2026-10-01
作者在 Mac Studio M5 Ultra 256GB 上同日同 harness 对比 Qwen3.8-Flash-Next(oMLX,182GB oQ8e,MTP)与 Laguna-S-2.1(GGUF,128GB 8bit),均开思考、262K 上下文、每轮零缓存 token:
- 预填充:Qwen 保持约 4,200 tok/s 线性,200K 仅 47.1s;Laguna 因二次方注意力超线性退化,200K 需 455.4s,差近 10 倍。200K 时预填充占两模型总时间 94%。
- 解码:Qwen 59-74 tok/s(MTP 接受率 70-76%,约 2 倍加速);Laguna 从 68 降至 34 tok/s。
- 质量:四个脚本验证题各对 4/4 打平,但风格相反——Laguna 几百 token 快答,Qwen 曾用 119s/11K token 深思。
作者还踩坑提示:跨规模共享前缀会让 KV cache 复用,导致首轮测出 21s「预填充 200K」的假数据。结论:若 Laguna 解决 DFlash 或上 MTP,战局可能改写。
「Infra」频道最新
- 美国 BIS 新规封堵第三国数据中心远程调用 AI 芯片 — teortaxesTex · 2026-11-16
- Qdrant 1.20.1 发布:冷存储读取减半、量化提速 2 倍 — qdrant_engine · 2026-11-16
- 16GB 显卡本地跑通全套 AI:生图作曲配音视频加 RAG 问答 — llama-of-death · 2026-11-16
- Starlink 在希腊护火车防追尾:134 台机车定位精度达 5 厘米 — XFreeze · 2026-11-16
- Google 将 Agent Substrate、gVisor、OpenRL 捐给 CNCF,Agent 运行底座 1.0 GA — dl_weekly · 2026-11-16
- 英伟达丑闻未完:黄仁勋的千亿美元权力网成焦点 — The Verge AI · 2026-11-16