NVIDIA 提出推理缓存新方法,同类问题成本降最多 291 倍
NVIDIA 研究者发布 arXiv 论文《CPU-ARC: Agentic Reasoning Caching for on-CPU Reasoning Reuse》(作者包括 Peter Belcak 等),提出「智能体推理缓存」技术:LLM 将某问题推理通后,把解法转换为 CPU 可执行代码,用于措辞或数字被改写的同类问题。该方式直接在 CPU 上复用推理结果,比调用原模型便宜 16 至 291 倍。
2026-11-22 ~ 2026-11-22 · 2 条相关
- NVIDIA 新论文:把推理缓存成 CPU 代码,同类问题便宜 16-291 倍 — rohanpaul_ai · 2026-11-22
- arXiv 原文:CPU-ARC 用 CPU 复用推理缓存,比原模型便宜 16-291 倍 — rohanpaul_ai · 2026-11-22