Android 上本地跑 Hermes
Dismal-Effect-1914 · reddit · 2026-07-16
作者展示了自己在 Graphene OS 的原生 Debian Terminal 里运行 Hermes 的方案：手机端配合远程 Hermes gateway 作为后端，底层使用 Llama.cpp 和 Qwen 3.6 35B。 他还把一块移动端 5070 Ti 和 RTX 3090 eGPU 通过 TB5 组合起来，称总计约有 34GB 显存，并给出了性能数据：prompt 处理约 2500 tps，生成约 80–150 tps（带 mtp）。 作者强调这是一个“轻快、100% 本地”的方案，认为 Hermes 的 GUI 在手机上的展示效果也很酷；同时提到 Razer Core X V2 在 Windows 11 下可用，但在 Linux 上没调通。