确定性工具输出压缩省 25% 上下文:Kompressor 让编码 agent 账单和延迟双降

MattAlreadyHere · reddit · 2026-10-16

Hystax 团队开源了 Kompressor(MIT,Rust),针对编码 agent 的一个痛点:agent 每轮重发全部历史,而其 trace 中约一半是工具输出(apt 日志、编译警告、进度条),白白吃掉上下文和 prefill 时间。

核心设计约束:同一输入必须永远输出相同字节。前缀缓存(llama.cpp、vLLM 或厂商的 prefix caching)只复用第一个变化 token 之前的内容,压缩输出若在轮间漂移,其后所有内容都要重新计算。因此 Kompressor 纯规则实现:无 ML、无时钟、无随机性,CPU 上每 KB 约 0.2ms,无遥测、无模型下载;被删内容存入 reference store(保留 1 小时),模型可按标记取回原文。

Terminal-Bench 2.1 实测(Codex CLI + GPT-5.5,87 个任务整跑):

对比小模型方案:与用 ModernBERT 的 Headroom 在 34.2M 字符真实工具输出上对比,Headroom 删 22.6%、87ms/KB 且会改动行内文字;Kompressor 删 62.8%、0.2ms/KB,行要么原样保留要么替换为可取回的标记。

注意:全部数据基于托管模型测得,本地部署尚未跑分,作者征集测试。

所属事件:Hystax 开源 Kompressor:压缩工具输出为编码 Agent 降本提速(2 条相关)→

原文链接 →

「编程与Agent」频道最新

更多「编程与Agent」频道 AI 资讯 →