CriticNPU:机制化评估器让 NPU 设计空间探索模拟调用减半
Yicheng He · hf · 2026-11-19
伊利诺伊大学香槟分校团队发布 CriticNPU,一个面向 LLM 推理 NPU 架构设计空间探索(DSE)的样本高效框架。
要解决的问题:现有 DSE 主要依赖昂贵的模拟器,且只返回延迟、功耗等标量反馈——能对配置排序,却无法解释为什么慢、下一步该改哪个架构参数;prefill 与 decode 的资源瓶颈(算力吞吐 vs HBM 带宽)还各不相同。
方法:核心是一个在线校准的「机制化评估器」(mechanistic critic),用显式硬件限制评估配置:
- 模拟前:估计候选配置能否超越当前最优,过滤弱候选;
- 模拟后:把算子级耗时汇总为 prefill/decode 瓶颈摘要,预测参数调整的效果;
- 用 Roofline 风格模型从架构参数推导算力/访存上限,并用模拟器观测校准各算子类型的有效上限;再配合工作负载提取器与架构规划器生成新配置。
结果:在 6 个 LLM 工作负载、每模型 16 种部署配置上,CriticNPU 在 74% 的 prefill 和 87.5% 的 decode 设定下取得最优或持平最优延迟,而模拟器调用次数约为竞争基线的一半。代码已开源。
「Infra」频道最新
- AMD ROCm 10.2 发布:新增 18 款 Ryzen 笔记本本地 AI 支持并升级 vLLM/SGLang — AnushElangovan · 2026-11-19
- 消费级 NAND 现货价单月暴跌 20%,SSD 市场现缓解迹象 — SumitGup · 2026-11-19
- The Information 曝光:Nvidia 员工曾建议阿里借东南亚公司租用 A100 芯片 — basedjensen · 2026-11-19
- Tideway:统一内存池管理,消费级设备跑大 MoE 模型延迟降半 — DukeUniversity · 2026-11-19
- Qwen3.8-27B 编码模型移植 MLX,M5 Max 最高 73 tok/s — yb2698 · 2026-11-19
- 前 Siri 团队工程师揭秘:一套代码实现端云混合运行 Siri — jdluk87 · 2026-11-19