开源 chaff 框架重构群聊 Agent:输出 token 省 89%,缓存命中率 0 到 55%
uriwa · reddit · 2026-11-22
作者基于在真实消息渠道和语音通话中运行 prompt2bot 的经验,开源了 MIT 协议的多方对话 Agent 框架 chaff(@uriv/chaff)。核心观点:主流 agent harness 都假设单用户轮流对话,一旦放进 WhatsApp/Telegram 群聊或实时电话就会崩溃。
关键设计:
- 一等公民式的沉默:每条消息是带说话人、时区的时间戳事件,群聊里别人互相聊天时 agent 可输出 donothing 不插话
- 时间感知线程:超过 30 分钟间隔自动分会话,已结算会话汇总为结构化摘要,且不打断 tool call 与结果的配对,保住 prompt cache 前缀
- 可关闭的技能:决策路由只加载当前回合相关的工具 schema,闲置技能自动卸载,避免首轮加载全部 schema 拖累后续每轮
- IM 与实时语音共用同一循环:同一 agent spec 驱动文字消息与全双工语音(含 barge-in)
- 零调参:思考级别路由、大工具输出的 scratchpad 溢出、重复循环与内部思维泄露的确定性守卫全部自动运行
实测数据:在 ClawBench 上对比 Pi,砍掉启动与旁白冗余后输出 token 降 89.2%(944 vs 8,711),总 token 降 51.4%;tau-bench Retail 上确定性历史前缀把 prompt cache 命中率从 0% 提到 55.2%。
所属事件:开源多方对话 Agent 框架 chaff 省 89% 输出 token(2 条相关)→
「编程与Agent」频道最新
- 开源 Laya:单次前向的类型化决策引擎,可从 LLM 持续学习 — solyarisoftware · 2026-11-22
- 开发分支领先 206 commits 直接合入 main,CTO 秀 GitHub YOLO 徽章 — mayanicks0x · 2026-11-22
- 用 Codex 重打光《艾尔登法环》,2016 年老显卡也能跑 — banteg · 2026-11-22
- 开源 MCP 服务器上线:用自然语言在 Cursor 里直读 Google 日历 — modelcontextprotocol · 2026-11-22
- 别把聊天机器人挂上私人 WhatsApp:prompt 不是防火墙 — uriwa · 2026-11-22
- 能打电话的 MCP 服务器:5 条拒绝逻辑写进服务端而非 prompt — FunBus8049 · 2026-11-22