NVIDIA 提出推理缓存新方法,同类问题成本降最多 291 倍

NVIDIA 研究者发布 arXiv 论文《CPU-ARC: Agentic Reasoning Caching for on-CPU Reasoning Reuse》(作者包括 Peter Belcak 等),提出「智能体推理缓存」技术:LLM 将某问题推理通后,把解法转换为 CPU 可执行代码,用于措辞或数字被改写的同类问题。该方式直接在 CPU 上复用推理结果,比调用原模型便宜 16 至 291 倍。

2026-11-22 ~ 2026-11-22 · 2 条相关