仅调 llama.cpp 参数:Qwen3-4B 在 2019 年手机上提速 1.34 倍
hbouammar · x · 2026-10-15
开发者 eppyephard 分享:在 2019 年的老款手机上完全离线运行 Qwen3-4B,仅靠调整 llama.cpp 设置,回复速度提升 1.34 倍,长输出场景提速 2.2 倍,且输出结果与原配置完全一致。零改模型、零精度损失,对端侧 LLM 部署很有参考价值。
「Infra」频道最新
- Eric Jang 判断 AI 是否过热：盯紧算力合约、开源追赶与机器人成本三个指标 — ericjang11 · 2026-10-15
- 双 R9700 本地跑 Qwen3.8-Flash-Next:解码 176 tok/s、预填充 6450 tok/s — Athabasco · 2026-10-15
- 5060Ti 跑出 75 tok/s：Basalt 让老显卡本地跑大模型 — ironicstatistic · 2026-10-15
- B300 三个月残值涨 40%,Kimi K3 带火二手 GPU 租赁市场 — AccBalanced · 2026-10-15
- 全球酒类年支出仍超 AI：1.7 万亿美元对 1.5 万亿基建投入 — wgrathwohl · 2026-10-15
- Epic Lore 对比 Anthropic Scion:两套抛弃 Git 的集中式版本控制系统 — ssh4net · 2026-10-15