手机上跑本地小模型的接口
Key-Outcome-2927 · reddit · 2026-07-10
作者发布了一个用于管理两个小模型的本地接口，目标是在手机上也能运行。 目前情况是： - 4B 模型在高端手机上表现不错。 - 1.7B 模型在开启 reasoning 时稳定性还有问题。 - 他们正在用一个 32B 模型做 teacher，给小模型做蒸馏，预计会用大约 13 万条样本训练。 - 作者表示，希望在数据集准备完成后，把 1.7B 的效果继续拉起来，并且当前方案不依赖 LoRA。
「Infra」频道最新
- 共享 SLURM GPU 集群，可能成为研究者更便宜的算力入口 — Sauers_ · 2026-07-21
- Reddit 用户设计四层本地 AI 机房：vLLM 到 OPNsense 全分层 — povedaaqui · 2026-07-21
- 现货内存价飙升 140%，合约重定价开始滞后 — tengyanAI · 2026-07-21
- 有人把 AI 使用方式指向异步长周期实验而非单买算力 — voooooogel · 2026-07-21
- PrismML Bonsai 27B 量化后仅 3.8GB 可手机运行 — tony10000 · 2026-07-21
- 有人主张给模型独立 micro VM，少用 tool calling — joecole · 2026-07-21