把 Pixel 10 Pro XL 变 OpenAI 服务器:Gemma 4 E4B 离线跑 11 tok/s
VerityAISolutions · reddit · 2026-10-03
开发者发布开源 Android 应用 PixelUnlockGPU,把 Pixel 10 Pro XL(Tensor G5、16GB 内存)变成 OpenAI 兼容的本地 HTTP 服务器,完全离线运行 Gemma 4 E4B instruct(Apache 2.0,2.97GB),走 LiteRT-LM GPU 后端。
- 实测稳定解码约 11 tok/s,跨轮次自动复用 KV prefix,后续轮次约 1.7 秒,无状态客户端(如 TypingMind)无需重新 prefill
- 提供三种访问模式:仅回环、裸 LAN、Tailscale(WireGuard 端到端加密)
- 诚实局限:官方固件下 NPU 路径会中止,只能用 GPU;Android 不允许普通应用读取 GPU 温度传感器;引擎无 per-request stop API,stop 序列被显式拒绝;LiteRT-LM 不暴露 token 计数,用量按 4 字符/token 估算
- 不用 llama.cpp/ollama 的原因:想用 Tensor 上的官方 LiteRT-LM GPU 路径、常驻 Android 服务(Ktor/Netty)和 OpenAI wire 兼容
项目开源于 GitHub,v0.1.0/v0.1.1 APK 已放出,接受贡献。
「编程与Agent」频道最新
- 教会董事实测两款 Agent 查账：一个一次过，一个更稳但慢 — MikkoH · 2026-10-03
- 把 Slack 频道变成 Agent 任务池:每条 bug 自动建 draft PR — gabrielchua · 2026-10-03
- Meta Muse 下载量破 500 万，AI 反馈循环或成护城河 — RihardJarc · 2026-10-03
- Context.dev 推面向 AI Agent 的网页抓取 API,主打「极致主动性」文化 — DanielLockyer · 2026-10-03
- 从「MCP 是上下文税」到拥抱 MCP:Arize 发布托管 MCP 服务器 — aparnadhinak · 2026-10-03
- 实测 Muse agent：自主比价购物、订召回维修、挂闲鱼卖货 — IanAndrewsDC · 2026-10-03