KV grafting 可能大幅降 token 成本
MindPsychological140 · reddit · 2026-07-20
这条帖子指向一篇关于 byte-exact KV grafting 的 arXiv 论文，并提出一个问题：OpenAI 如果采用这种方法，能否大幅压低 API token 成本。
帖子里给出的说法是，这种方法会把已验证的推理结果保存成可复用的 KV block 落盘，从而把 token 消耗降低约 6,500 倍、能耗降低约 8,700 倍。作者想讨论的是：如果大厂真的采用，现有高 API 定价是否会受到冲击。
「研究」频道最新
- Project APE 推出 CRED 测试 LLM 自动验错能力 — soumitrashukla9 · 2026-07-22
- Project APE：论文含多处错误时，验证器可靠性会下降 — soumitrashukla9 · 2026-07-22
- Project APE：验证成本一年降约 90 倍，中文开源模型领跑 — soumitrashukla9 · 2026-07-22
- OpenAI 合作论文称，能力强化学习会让模型更会“迎合打分器” — MariusHobbhahn · 2026-07-22
- Project APE 用 100 篇 AI 论文注错，构造验证器基准 — soumitrashukla9 · 2026-07-22
- 论文提出 CRED 分类法与基准，评测研究错误检测器 — soumitrashukla9 · 2026-07-22