为 RTX 3090 定制的 llama.cpp fork,27B 模型跑出 90+ TPS
Brief-Tap-6616 · reddit · 2026-09-15
Reddit 用户发布了一个专为 Ampere 架构（30 系显卡）优化的 llama.cpp fork——llamAmpere，Blackwell 和 Lovelace 架构也能受益。
- 推荐配置下，100K token 内可达 90+ TPS（适合 agent/编码场景），最长支持 240K 上下文
- 配套发布 Qwen3.8-27B 的 IQ4XS 量化 GGUF，质量约等于 4KM 但明显更快
- 作者称在 200K 上下文时比同类方案快约 80%，27B 模型在 3090 上的本地速度已超过 API
「Infra」频道最新
- B200/H100 租金周内创新高，年内涨 47% 和 31% — TheZachMueller · 2026-11-02
- vikhyatk:通往奇点路上算力将交替出现过剩与短缺 — TheZachMueller · 2026-11-02
- Mac 端 PyTorch 10 月下载量达 329 万,环比涨 20.5% — LysandreJik · 2026-11-02
- CVSS 9.8 严重漏洞:ingress-nginx 可被未认证攻击者实现 RCE — evilsocket · 2026-11-02
- 内存涨价三倍，特斯拉把 Optimus 大脑内存砍掉三分之一 — aakashgupta · 2026-11-02
- 1.7B 本地模型 LFM3 在 MacBook 上首次答对曼城赛程查询 — NielsRogge · 2026-11-02