控制 token 成本三板斧:模型路由、开源 LLM、上下文缓存
rseroter · x · 2026-09-02
作者总结了控制 LLM token 成本的常见手段:把请求路由到更便宜的模型、使用开源 LLM、以及在 agent harness 中应用上下文缓存,实践中通常三者混合使用。并推荐了 Balaji 关于 agent harness 中上下文缓存的文章。
「编程与Agent」频道最新
- DeepSeek-V4 黑卡部署实录：修复 SGLang 三大 Bug — shrug_hellifino · 2026-09-02
- LangChain 微调 Qwen 评估 Agent，成本降至 GPT-5.5 1% — LangChain · 2026-09-02
- 新书推荐：从设计模式到生产级 AI Agent — JordiRib1 · 2026-09-02
- Grok Bot 彻底消灭手动数据录入，效率惊人 — djcows · 2026-09-02
- Claude Code 几分钟生成树莓派外壳代码 — shekitup · 2026-09-02
- Prime Agent 为何选 RLM 轨迹训练而非提示词调优 — CShorten30 · 2026-09-02