边缘端LLM推理论文综述
East-Muffin-6472 · reddit · 2026-07-08
帖子在读一篇关于边缘端 LLM 推理的论文，比较了手机、NPU 和 GPU 在持续负载下的效率权衡。文中提到测试了 RPi5-Hailo、iPhone 16 Pro、S24 Ultra 和 RTX 4050 笔记本 GPU，并统一用 Qwen-2.5-1.5B 4bit 做 2048 token、20 轮测试。
East-Muffin-6472 · reddit · 2026-07-08
帖子在读一篇关于边缘端 LLM 推理的论文，比较了手机、NPU 和 GPU 在持续负载下的效率权衡。文中提到测试了 RPi5-Hailo、iPhone 16 Pro、S24 Ultra 和 RTX 4050 笔记本 GPU，并统一用 Qwen-2.5-1.5B 4bit 做 2048 token、20 轮测试。