本地跑通 Pi 编码 Agent:Qwen3.8-27B+DFlash2 投机解码与 KV 缓存复用
fuzhongkai · reddit · 2026-11-11
作者给出在 Apple Silicon 上用 TensorSharp 作为本地推理后端驱动 Pi Coding Agent 的完整教程，核心是跨工具调用轮次复用 prompt KV cache，避免每轮重新 prefill 整个对话。
配置要点
- Agent: Pi Coding Agent 1.5.1；推理走 TensorSharp 的 OpenAI 兼容 API
- 模型: Qwen3.8-27B UD-IQ3XXS GGUF，投机解码用 DFlash2 Q4KM（每步 7 个 draft token，贪心采样）
- 后端: ggmlmetal，上下文 65536，KV cache 用 q80，max-tokens 提到 16384
- 实测环境: M5 Pro 48GB 统一内存，README 建议至少 32GB
流程
- 克隆 TensorSharp 并 dotnet build Server Host（Metal preset qwen3.8-27b-metal-dflash2.json）
- 加 tensorsharp-pi.json overlay 调整 max-tokens 与上下文，启动服务器
- 用 Pi 的 models.json 配置自定义 provider 指向本地端点
模型与 drafter 首次启动时从 HF 固定 revision 下载并校验 SHA-256，完整示例在 TensorSharp 仓库 examples/pi-coding-agent。
所属事件:开发者用 TensorSharp 让 Pi 编码 Agent 全本地运行(3 条相关)→
「编程与Agent」频道最新
- Gemini 4 Carbon 实测:仅比最强模型低0.7分,价格只要1/4.5 — koraykv · 2026-11-11
- 开发者演示 ambient listening：让 Agent 自主决定何时开口 — johnlindquist · 2026-11-11
- 思科发布 Signals 2.0：45 类 agent 故障自动诊断，F1 达 91.43% — ptkbhv · 2026-11-11
- 开源工具 AgentPlay 把编码 Agent 会话变成可视化时间线 — entelligenceai17 · 2026-11-11
- Agent 托管服务 Molted 上线:每月 2.88 美元起,自带浏览器与 1500+ 集成 — nikola_mr64990 · 2026-11-11
- OpenAI Dot 自动发邮件砍价,帮用户省下 1000 美元买壁炉 — dkundel · 2026-11-11