半年业余开发 HuggingArch：不跑 GPU 算清任意 HF 模型的 FLOPs 与显存

TheZachMueller · x · 2026-11-09

开发者 thuHanShen 花半年业余时间打造了 HuggingArch——一个不执行张量、只做理论性能推算的"编译器"。给它任意 HuggingFace 模型，它能离线计算出 FLOPs、内存流量与 KV cache 大小，无需 GPU、权重和运行时。

工作流是：agent 撰写模型规格（YAML）→ 经 safetensors 头与建模源码校验 → sympy 求值 → 一键得到跨 GPU 型号与并行配置（TP/PP/EP/DP、精度、batch×context）的理论性能表。项目含 90+ 硬件原语、150+ 组件规格，内置 Gallery、Inspector、Inference Planner、Kernel Bench 等视图，kernel 数据基于 FA3/FlashInfer/DeepGEMM 实测校准。