同一模型省一半 token:开源 TypeScript agent 框架 chaff 实测
uriwa · reddit · 2026-11-22
作者开源了驱动 prompt2bot 生产环境的 TypeScript agent harness chaff(npm 包 @uriv/chaff,MIT 协议)。核心观点:大家总在比较前沿模型,却把 agent harness 当中性管道——固定模型不变,harness 之间的差距巨大。
基准数据(ClawBench t2-config-loader,同模型对比 pi-coding-agent):两者都通过测试,但 chaff 首轮启动上下文约 800 token vs 4,239(-81.1%),输出 token 944 vs 8,711(-89.2%),总 token 120.9k vs 248.8k(-51.4%),LLM 调用 16 次 vs 36 次。tau-bench Retail(5/5)对比参考 LLMAgent:输出 token -66.6%,prompt 缓存命中率 55.2% vs 0%。
省 token 主要靠结构设计而非提示模型"简洁":
- 类型化多方事件日志,把内部工具执行与外发消息分离,避免模型逐步叙述
- 动态 skill 加载与自动卸载,未用工具的 schema 不进声明
- 三级压缩且保护缓存前缀:完成工具结果折叠入内存、大输出进 scratchpad(带 SCRATCH: 句柄可分页)、30 分钟会话滚动为结构化摘要
- 每轮思考级别路由(LOW/MEDIUM/HIGH),快回复不付深度推理的钱
- 零成本 happy-path 守卫,确定性检测重复循环、内部思考泄漏、畸形工具调用
- 跨轮保留 thinking 元数据配对,防止 thinking 模型陷入无限工具调用循环
所属事件:开源多方对话 Agent 框架 chaff 省 89% 输出 token(2 条相关)→
「编程与Agent」频道最新
- 开源 Laya:单次前向的类型化决策引擎,可从 LLM 持续学习 — solyarisoftware · 2026-11-22
- 开发分支领先 206 commits 直接合入 main,CTO 秀 GitHub YOLO 徽章 — mayanicks0x · 2026-11-22
- 用 Codex 重打光《艾尔登法环》,2016 年老显卡也能跑 — banteg · 2026-11-22
- 开源 MCP 服务器上线:用自然语言在 Cursor 里直读 Google 日历 — modelcontextprotocol · 2026-11-22
- 别把聊天机器人挂上私人 WhatsApp:prompt 不是防火墙 — uriwa · 2026-11-22
- 能打电话的 MCP 服务器:5 条拒绝逻辑写进服务端而非 prompt — FunBus8049 · 2026-11-22