论文解读:商用手机上跑大模型的性能基准研究
East-Muffin-6472 · reddit · 2026-07-07
这是《Understanding Large Language Models in Your Pockets》的文献综述,研究在华为、iPad、vivo、小米等设备(骁龙 8/8+、天玑 9300、麒麟 9000E/985、Apple 芯片)上运行 Llama3.2、Gemma3(1B–7B)的性能。 除首 token 延迟、端到端时延、tok/s 外,还关注开发者侧部署细节:DVFS 动态调频调压、温度与降频、内存与 GPU 占用、最佳并发线程数、量化,以及各 SoC 指令集(ISA,如 smmla 与 dot 在矩阵乘上的差异)对纯 CPU 推理的影响。