Netflix 工程师开源 Headroom,压缩上下文最高省 95% token

Netflix 工程师 Tejas Chopra 因一张 287 美元的 API 账单开源了 Headroom,一个在 Agent 将上下文喂给大模型之前进行确定性压缩的中间层,直击 AI 应用中最昂贵的 token 浪费问题。该工具可在调用 LLM 前压缩上下文,节省 60% 至 95% 的 token 开销,使成本大幅下降。

2026-10-17 ~ 2026-10-18 · 2 条相关