手机端LLM基准测试综述
East-Muffin-6472 · reddit · 2026-07-11
这条长帖在做一篇论文的阅读总结，主题是 **MELTing point: Mobile Evaluation of Language Transformers**，核心是在**手机和边缘设备上评测 LLM** 的性能与体验。 ### 实验设置 - 测试设备包括 iPhone 6 SE、iPhone 14 Pro、S23、Pixel 6a、Jetson Nano、Jetson AGX Orin。 - 测试模型包括 tinyLlama、Llama-2、Gemma、Zephyr-3B、Mistral-7B。 - 后端使用 MLC-LLM 和 llama.cpp，并通过 MLChat、LLMFarm 等聊天应用来模拟真实使用场景。 - 研究者用树莓派 4 作为控制中枢，统一负责任务下发、采集监控和设备交互；手机端还用热成像、系统接口等方式记录温度与性能。 ### 方法与指标 - 不是只测裸模型，而是尽量还原真实用户体验：打开聊天应用、输入、生成、持续对话都纳入评测。 - 他们定义了 QES（Quality Exp score），重点看三项： - **Responsiveness**：聊天时设备是否仍可正常响应； - **Stability**：连续多轮对话下是否稳定； - **Temperature**：设备发热情况。 - 还尝试把 **prefill** 放在 NVIDIA 设备上、再通过 Wi‑Fi 6 把后续 decode 交给手机，探索跨设备拆分推理的可能性。 ### 主要结论 - GPU 路径明显优于 CPU；其中 iPhone 的表现尤其突出，主要得益于 LLMFarm 更好地利用了 Metal GPU 加速。 - Android 在 CPU decode 上略快于 iPhone。 - 在手机上，Q3/Q4 量化整体更快，也更省电。 - 长时间连续压测时，部分设备吞吐出现波动，作者将其归因于 DVFS 等因素。 - 设备发热明显，文中提到手机表面温度最高可到 47.1°C。