NVIDIA 新论文:把推理缓存成 CPU 代码,同类问题便宜 16-291 倍
rohanpaul_ai · x · 2026-11-22
NVIDIA 论文提出「agentic reasoning caching」:LLM 把一个问题推理通之后,其解法可以转成 CPU 可执行代码,用于措辞或数字被改写的同类问题,调用成本比原模型低 16 到 291 倍。
- 做法:用 Claude Opus 4.5 把推理轨迹转成带可调参数的小型 Python 函数,运行时在 CPU 上执行,只在抽取数值等小文本任务上调用一个微调的 1B 模型。
- 效果:在 8 个数学与科学基准中的 7 个上追平或超过源模型,AIME '25 得分 93.3% 对 83.3%;至少 90% 的改写/换数字变体被覆盖。
- 适用场景:agent 每天用同一套提示词跑新输入时,把推理缓存成代码,只在未命中时调用 LLM。
所属事件:NVIDIA 提出推理缓存新方法,同类问题成本降最多 291 倍(2 条相关)→
「Infra」频道最新
- SK 海力士 HBM4 良率据称突破 70%,Q3 全面量产出货 — Beth_Kindig · 2026-11-22
- Mflux 让 8GB Mac 跑 MOSS 图像生成:4 步蒸馏 768x768 仅 82 秒 — bio_risk · 2026-11-22
- Claude 或证黎曼猜想引热议:为何不重造 AI 的内存与推理成本? — Kitchen_Mirror_7247 · 2026-11-22
- Intel D270 AI 卡曝光:160GB LPDDR5X、350W,或售约 1 万美元 — Terminator857 · 2026-11-22
- 研究:就地建光储电站是美国多数地区 AI 数据中心最便宜的供电方案 — mattbeane · 2026-11-22
- AMD 向 Rust 推理引擎 LexiEngine 新增 Inkling 模型支持 — W61k3r · 2026-11-22