NVIDIA 提出 CPU-ARC:推理缓存复用,调用成本降至 1/16~1/291
nvidia · hf · 2026-11-10
NVIDIA 论文《CPU-ARC: Agentic Reasoning Caching for on-CPU Reasoning Reuse》(Belcak、Diao、Molchanov 等,Project Moonshot: Local Frontier Intelligence)。核心观察:LLM 总在重复造轮子,把「求解」和「执行解法」混为一谈,每个问题都从头推理。方法是从 LLM 推理轨迹构建可在 CPU 上执行的 agentic reasoning caches(ARC),把已有解法高效应用到新问题实例上。论文声称 ARC 在多个困难数学与科学任务上与前沿 LLM 表现相当,且完全可解释、可持续训练、对输入扰动鲁棒,调用成本比源模型便宜 16–291 倍。
「Infra」频道最新
- YC 孵化 Archgen 用 AI 做 3D 芯片设计，热仿真快 5000 倍 — Scobleizer · 2026-11-10
- FlashState 推理系统：GLM 5.3 Flash 上吞吐翻倍，延迟降 3.7 倍 — zainhas · 2026-11-10
- UC Berkeley 开源 FreeToken：消费级硬件跑前沿 MoE 模型 — petrusenko_max · 2026-11-10
- 零保留政策成企业自建推理关键：Azure 需审批才免安全监控 — HanchungLee · 2026-11-10
- 一张表讲清 Agent Sandbox 与 Agent Substrate 怎么选 — davemccollough · 2026-11-10
- 芯片上的哥斯拉与索尼克：半导体行业消失的彩蛋文化 — thehiphopswami · 2026-11-10