Foundry Local 本地跑 Agent 编码，长上下文解码最快快近 2 倍

pmttyji · reddit · 2026-11-06

Reddit 用户分享用微软 Foundry Local 在本地设备上运行 agentic coding 的实测结果：在 RTX 5090 和 DGX Spark 上，与 llama.cpp 相比，decode/tg 性能提升 35%-135%。配图显示不同 prompt 长度下的生成速度对比：4K tokens 时 265.82 vs 150.60 tok/s（1.77 倍），131K tokens 时 212.36 vs 109.68 tok/s（1.94 倍），260K tokens 时 187.16 vs 96.11 tok/s（1.95 倍），上下文越长优势越明显。发帖人询问这些优化能否合入 llama.cpp。