CriticNPU:机制化评估器让 NPU 设计空间探索模拟调用减半

Yicheng He · hf · 2026-11-19

伊利诺伊大学香槟分校团队发布 CriticNPU,一个面向 LLM 推理 NPU 架构设计空间探索(DSE)的样本高效框架。

要解决的问题:现有 DSE 主要依赖昂贵的模拟器,且只返回延迟、功耗等标量反馈——能对配置排序,却无法解释为什么慢、下一步该改哪个架构参数;prefill 与 decode 的资源瓶颈(算力吞吐 vs HBM 带宽)还各不相同。

方法:核心是一个在线校准的「机制化评估器」(mechanistic critic),用显式硬件限制评估配置:

结果:在 6 个 LLM 工作负载、每模型 16 种部署配置上,CriticNPU 在 74% 的 prefill 和 87.5% 的 decode 设定下取得最优或持平最优延迟,而模拟器调用次数约为竞争基线的一半。代码已开源。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →