287 美元账单催生 Headroom:上下文压缩层可省 60%-95% token
大模型之路 · wechat · 2026-10-17
Netflix 工程师 Tejas Chopra 因一张 287 美元 API 账单开源了 Headroom——一个在 Agent 把上下文喂给大模型之前做确定性压缩的中间层，GitHub 星标近 4 万，累计帮用户省约 70 万美元、释放超 2000 亿 token。
核心设计
- 不靠 LLM 摘要，而是结构化压缩：ContentRouter 判断内容类型后路由给 SmartCrusher（JSON）、CodeCompressor（AST 级源码压缩）或 Kompress-base（通用文本模型兜底），不引入总结偏差。
- 官方实测 10,144 token 压到 1,260，模型仍能准确找到 FATAL 错误；尤其适合 ReAct 式循环中每轮重贴历史工具输出导致的指数膨胀。
CCR 可逆压缩
- 压缩后的原文缓存到本地 Redis/SQLite，模型可通过 retrieval 工具按需取回完整原文——压缩是「延后」而非「丢弃」，缓存本身就是审计日志。
CacheAligner 省钱
- 对 system prompt、工具定义等稳定前缀做 hash 复用 KV 缓存；即使压掉 90% token，账单可降到原来的 1/20。SRE 夜班实测：65,694 token/4.2 美元的 nginx 日志压到 5,118 token/0.4 美元。
接入方式
- proxy 模式（OpenAI 兼容端点，零改代码）、library 模式、headroom wrap claude|codex|cursor 一键包裹编码 Agent、MCP server。全部本地运行，Apache 2.0 协议，Python+Rust 实现。
边界：对极短、高信息密度的上下文压了反而误伤；甜区是「长、重复、结构化」内容（日志、JSON、多文件代码、长对话）。它不取代更大 context window，而是与之正交——窗口决定能装多少，压缩决定装进去的有多少是信号。
所属事件:Netflix 工程师开源 Headroom，压缩上下文最高省 95% token(2 条相关)→
「编程与Agent」频道最新
- Clicky MCP Server：用自然语言查询网站流量分析数据 — modelcontextprotocol · 2026-10-18
- CipherHUB 发布 31 个 MCP 密码学工具，覆盖经典与后量子加密 — modelcontextprotocol · 2026-10-18
- Codex 新增 tab 补全:预判你下一步操作,按 Tab 即可采纳 — mark_k · 2026-10-18
- 开发者开源带 MCP 的体素编辑器，Claude 可建模并自查渲染 — AbaGuy17 · 2026-10-18
- 开发者用 Opus 5.5 零代码做游戏,一个下午上线 3 个游戏平台 — Roger_M_Taylor · 2026-10-18
- 10 个开源项目拼出一人 AI 内容工厂：脚本、配音、图像全包 — Roger_M_Taylor · 2026-10-18