双 5060 Ti 跑 Gemma 4 达 60 t/s： llama.cpp 一年半进化记
Kahvana · reddit · 2026-10-17
一位用户回顾 2025 年 3 月至今的本地 LLM 之旅，展示了消费级硬件与 llama.cpp 的性能跃升：
- 起点：RX 7800 XT 16GB 跑 Mistral Nemo Q4KM，用 ollama/lmstudio + SillyTavern 做 TTRPG 角色扮演
- 硬件升级：押注双 RTX 5060 Ti 16GB（PCIE 5.0 x8x8，赌 llama.cpp 迟早支持 tensor parallel 与 MTP），避开了涨价窗口
- 性能进化：Gemma 4 31B Q6K 初期 17 t/s → 支持 tensor split/MTP 后 40 t/s → 0.7.0 版超 60 t/s（预处理 1100 t/s）；Qwen3.8 27B 推理约 70 t/s、写代码 100 t/s
- 体验上 Gemma 4 31B 的情商与角色扮演可媲美 DeepSeek v3.2
作者的感想：一年半前大家还在为「能对话」震惊，如今消费级双卡就能流畅跑 30B 级模型，而期间各种末日论预测全部落空。
「Infra」频道最新
- 北京 NeodraDynamics 发布 4 米 1.2 吨重型人形机器人 Neo1 — CyberRobooo · 2026-10-17
- Replit 推出 BYOC:开发与生产可部署在自有云,数据不出门 — amasad · 2026-10-17
- AI 单次推理省电 33 倍,谷歌总用电反增 37% 的悖论 — FinanceYF5 · 2026-10-17
- ModCon 2026 圆桌:芯片提前数年锁定,软件却每周迭代 — clattner_llvm · 2026-10-17
- Darkbloom 让你把 Mac 共享成 AI 推理服务器并从中赚钱 — gajesh · 2026-10-17
- ExecuTorch 成 Zephyr 官方模块,PyTorch 模型可直接部署进固件构建 — PyTorch · 2026-10-17