手机替代云端 AI:llama.cpp+OpenWebUI+Tailscale 自建本地方案
GodComplecs · reddit · 2026-10-02
Reddit 用户分享一套手机端使用本地 LLM、摆脱 Google AI 等大厂服务的简易方案:
- PC 上跑 llama.cpp 后端(0.0.0.0:8080)+ OpenWebUI(0.0.0.0:8081),并开启本地模型搜索
- 用 Tailscale 组网,从手机直接访问家里的本地模型
- 24GB 显存的「秘方」:跑 unsloth 提供的 Qwen 3.6 instruct/非思考模式并配好参数,即可获得接近云端的使用体验
- 作者称这套组合可完全替代 Google AI Mode 等云端入口;opencode 等终端工具同样可以走这套通道(但他暂时没怎么跑 agentic 任务)
「Infra」频道最新
- 美国 BIS 新规封堵第三国数据中心远程调用 AI 芯片 — teortaxesTex · 2026-11-16
- Qdrant 1.20.1 发布:冷存储读取减半、量化提速 2 倍 — qdrant_engine · 2026-11-16
- 16GB 显卡本地跑通全套 AI:生图作曲配音视频加 RAG 问答 — llama-of-death · 2026-11-16
- Starlink 在希腊护火车防追尾:134 台机车定位精度达 5 厘米 — XFreeze · 2026-11-16
- Google 将 Agent Substrate、gVisor、OpenRL 捐给 CNCF,Agent 运行底座 1.0 GA — dl_weekly · 2026-11-16
- 英伟达丑闻未完:黄仁勋的千亿美元权力网成焦点 — The Verge AI · 2026-11-16