16GB 显存跑 Qwen3-27B:pi.dev 上下文压缩插件踩坑求助
darksteelsteed · reddit · 2026-09-13
作者在 RTX 5080 16GB 上用 llama.cpp 跑 nvfp4 量化的 Qwen3.8-27B(48k 上下文、约 12 t/s),但 pi.dev 的上下文压缩时机不对导致模型提前停止。尝试过的插件:
- npm:max-context:基本不可用
- npm:pi-observational-memory:勉强可用,0.75 阈值自动压缩 4 次但仍失手
- npm:pi-blackhole:看似有戏但完全没触发压缩
作者还吐槽 pi.dev 架构问题:压缩设置与模型设置完全分离,切换模型(如换 gemma、其他 Qwen)就得重配;且多数插件面向前沿模型的长上下文,不适合因显存不足而窗口较小的本地模型,征求针对性建议。帖内含完整 llama-server 启动参数,对低显存本地部署有参考价值。
「编程与Agent」频道最新
- 开发者一年打造 Limma MCP:结构化全量数据,宣称检索零遗漏 — FlimsyIngenuity7248 · 2026-10-31
- Agent 审计新思路：不看总结，让用户说出改了哪些文件跑过哪些测试 — ronbodkin · 2026-10-31
- FlowSense 推出 MCP:让 Claude Code 看懂并管控 Mac 的所有网络连接 — hani_q · 2026-10-31
- 开发者：coding agent 通知只在等待审批时才值得推送 — petrusenko_max · 2026-10-31
- OpenTargets 非官方 MCP 服务器上线，可查询基因-药物-疾病关联 — modelcontextprotocol · 2026-10-31
- zero-core-budget 连接器发布，为 Agent 提供预算与 ROI 追踪 — modelcontextprotocol · 2026-10-31