Teknium 实测 Jev 压缩方案翻车:分数更低成本更高,判定不要采用
max_paperclips · x · 2026-09-20
NousResearch 的 Teknium 公开反驳「用 Jev 给 tool call 打分实现即时压缩」的方案,称其在自家可公开运行的压缩评测上表现不佳:它学到的是一条无需任何模型就能执行的规则——直接删掉聊天历史里的所有 tool call。
问题在于:
- 删 tool call 确实免费,但每次压缩后历史里剩余的 tool call 越来越少,能压的 token 越来越少,最终无空间可压、硬性卡死;
- 每次压缩都会打破 prompt cache,输入 token 价格约 10 倍,且每轮保留更多输入 token 会抬高压缩后的基线成本。
其合并的 GitHub PR 显示评测结论:Jev 方案 75.5% @ 115K tokens,输给生产压缩路径的 78.9% @ 55K tokens,生产路径已成为评测默认项,结论是「不要采用」。
所属事件:Teknium 实测 Jev 压缩方案:分数更低成本更高(2 条相关)→
「编程与Agent」频道最新
- 用快速小模型做 evals:200ms 决策模型替代 LLM-as-judge — holdenmatt · 2026-09-20
- Jev 推出对齐门控:单次调用约 3 厘美元,自动筛查谄媚与欺骗输出 — johnseach · 2026-09-20
- Vite 核心成员实测:OJ 对比 Vite 的内存基准存在三处方法论缺陷 — cnakazawa · 2026-09-20
- 像素大楼管 Agent:Sanctorum 用「工位」派生权限,接任意 OpenRouter 模型 — AlexanderJAnderson · 2026-09-20
- 一个下午搭好 AI 第二大脑:六大步骤让 agent 管理你的知识库 — VibeMarketer_ · 2026-09-20
- 开发者自制 SnapBridge 插件,一键把 Chrome 截图贴进 Antigravity — AI_Andrew · 2026-09-20