16GB 显存跑 Qwen3-27B agent:开 MTP 掉上下文还变笨?
Remarkable_Air_8383 · reddit · 2026-10-03
作者用 llama.cpp 在 16GB 显存本地跑 qwen3 27B(iq3s 量化)为 Hermes agent 服务,发现开启 MTP draft 后 prefill 变慢、模型表现似乎变差,且显存吃紧只能把上下文压到 96k,解码速度约 40-60 tps;关闭 MTP 则可恢复 128k 上下文,但解码降至约 35 tps,发帖征询取舍建议。
「Infra」频道最新
- AMD Loom 实测:Qwen3.5-4B 在 Radeon 890M 上 prefill 提速 2.6 倍 — jfowers_amd · 2026-11-19
- 开发者向 GKE 沙箱项目提 PR:定期 checkpoint 防 agent 进度丢失 — yoimnotkesku · 2026-11-19
- AWS Lambda 终于支持 GPU:托管实例可跑模型推理与媒体处理 — DavidWells · 2026-11-19
- 曝黄仁勋人为制造显卡稀缺抬价获利,库存积压仍维持高价 — GaryMarcus · 2026-11-19
- AWS AgentCore Identity 支持私有 CA,Agent 可直连内网自建 IdP — AWS ML Blog · 2026-11-19
- 爆料:中国秘密研发百万卡级无HBM训练集群,国产芯片架构存疑 — teortaxesTex · 2026-11-19