Orange Pi 5 Plus 实测：锁大核提速 318%，NPU 跑 0.5B 达 21.5 tok/s
No-Doughnut6532 · reddit · 2026-10-06
r/LocalLLaMA 上一份对 Orange Pi 5 Plus（RK3588，16GB LPDDR4x）跑本地小模型的系统性实测，目标是评估其能否 24/7 承载背景 agent 或家庭自动化。
关键发现
- 核心绑定是命门：Ollama 设为只用 4 个 A76 大核（4 线程）对比默认 8 线程最高提速 +318%——默认调度会等慢速 A55 小核。
- CPU 推理速度（4 线程）：DeepSeek-Coder 1.3B 达 16.9 tok/s，Llama 3.2 1B 14.6 tok/s，Qwen 2.5 1.5B 14.5 tok/s，Llama 3.2 3B 7.3 tok/s，Phi-3 Mini 3.8B 6.6 tok/s。
- 8B 内存墙：Llama 3.1 8B 仅 2.3 tok/s，温度冲到 85°C；实测 LPDDR4x 带宽约 25-30 GB/s 是物理上限。
- NPU 表现亮眼：用原生 RKLLM 在 6 TOPS NPU 上跑 Qwen 1.5 0.5B 达 21.55 tok/s、TTFT 低于 100ms，CPU 占用约 0%。
- 散热与存储：裸片出售无散热器，待机 52.7°C，1B-3B 负载 68-74°C，8B 持续负载触顶 85°C 节流；NVMe 实测 2862 MB/s 顺序读，1.3GB 模型 0.6 秒载入内存。
作者声明设备由 Orange Pi 免费提供，但无编辑审查条件，数据独立实测。
「Infra」频道最新
- vLLM Semantic Router 主打「模型混合路由」,实测指令显著改变 Agent 工具调用 — colinmcnamara · 2026-10-06
- NVIDIA 电信报告：89% 运营商视开放模型为 AI 战略关键 — NVIDIAAI · 2026-10-06
- 用 vLLM 补丁在 DGX Spark 上实测:DiffusionGemma 打平并跑赢商用 API — vllm_project · 2026-10-06
- 代码算数模型说话：独立开发者根治本地小模型编造账目 — Revibed69 · 2026-10-06
- Cloudflare 推出 agent 优先的 CLI 工具 cf,八项举措打破可观测性黑箱 — dinasaur_404 · 2026-10-06
- 128GB Mac Studio 跑本地 Agent 栈怎么选:推理层之争引发讨论 — DrainBramage · 2026-10-06