arXiv 原文:CPU-ARC 用 CPU 复用推理缓存,比原模型便宜 16-291 倍

rohanpaul_ai · x · 2026-11-22

arXiv 论文《CPU-ARC: Agentic Reasoning Caching for on-CPU Reasoning Reuse》(作者 Peter Belcak、Greg Heinrich、Saurav Muralidharan、Shizhe Diao、Pavlo Molchanov)指出,LLM 总是把「解题」和「执行解法」混为一谈,导致每个问题都从头推理。

论文提出 agentic reasoning caching:从 LLM 推理轨迹构造健壮的、CPU 可执行的推理缓存(ARC)。ARC 在多种困难的数学与科学任务上与前沿 LLM 表现相当,完全可解释、可持续训练、对输入扰动鲁棒,调用成本比源模型低 16-291 倍。技术报告共 28 页、9 图、11 表。

所属事件:NVIDIA 提出推理缓存新方法,同类问题成本降最多 291 倍(2 条相关)→

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →