单卡 Tesla P40 榨出 35B MoE:262k 上下文短输出 60 t/s
sargetun123 · reddit · 2026-10-28
作者花两天调优单张 Tesla P40(24GB,PCIe x1)运行 Ornith 1.5 35B-A3B(Qwen3.5 MoE 架构),坚持不低于 Q4 权重与 q8 KV,实现完整 262k 上下文:短输出约 60 t/s,100k 深度约 30 t/s。基于自维护的 llama.cpp fork。
实际有效的优化:
- 关 ECC:多出 1.5GB 显存,解码 +9%
- KV 用 q80 而非 q40:q4 在长上下文崩坏(32k 处 30.6 vs 42.2 t/s)
- 检查 MTP 头是否训练过(该模型首发权重的 MTP 头未训练,blk.40.nextn.sharedheadnorm 均值 1.02 为未训练、2.93 为已训练),换后草稿接受率 45%→60-85%
- flash-attention KQ 半边用 int8 dp4a:Pascal 无张量核心,32k prefill +26%,100k +41%
- MTP prefill 窗口限制到 prompt 最后 8k:121k prompt prefill 327→373 t/s,输出质量不变
无效尝试:f16 KV、kernel 内反量化 V(-5%)、官方 Q4KM(质量同分但更慢更省上下文)。附完整 llama-bench 数据表与不同深度吞吐曲线,作者可提供补丁。
「编程与Agent」频道最新
- Opus 5.5 当规划器 + DeepSeek Flash 当执行器:多模型编排组合受捧 — samsja19 · 2026-10-28
- LangChain 发布 langchain-anthropic 1.7.7，修复 tracing 与依赖 — caolonghua · 2026-10-28
- 北大清华等提出MPO，改进长程LLM智能体训练的信用分配 — IQuestLab · 2026-10-28
- Meta FAIR 的 h1：极简 agent 循环在形式化定理证明上达到 SOTA — meta-llama · 2026-10-28
- 开发者热梗「codexmaxxing」蔓延到 Duo,知名 iOS 开发者亲测确认 — Dimillian · 2026-10-28
- 两支免费长视频拆解:多模态 RAG 瓶颈排序与真实产品中的 Agent 落地 — ubiquitous_tech · 2026-10-28