Bonsai 量化版 24GB 卡跑出 128k 上下文 50 tok/s,速度翻倍
julianharris · x · 2026-09-18
作者实测 Bonsai 量化模型,速度与体积均优于其常用的 Qwen 量化版本。
- 在 4090/24GB 显卡上满载 128k 上下文可达 50 tok/s,此前仅 32 tok/s
- 速度提升后可在单张 24GB 卡上同时跑两个会话
- 预计 256k 满上下文时约 25 tok/s
- 作者提到应有 drafted with Bonsai 的版本,可进一步提升性能,但尚未找到
所属事件:Bonsai 量化模型实测：24GB 卡 128k 上下文跑出 50 tok/s(2 条相关)→
「Infra」频道最新
- 生产数据实测：Qdrant 比 Meilisearch 快 2 倍省 9 倍内存 — qdrant_engine · 2026-11-04
- Antseed 挖来ravikantagrawal主管商务，押注点对点推理开放市场 — ravikantagrawal · 2026-11-04
- 德州将超越弗州成数据中心第一州，大量项目仍在早期阶段 — asusarla · 2026-11-04
- 周处理百万条消息,AI agent 生产环境降本 37% 的 13 条实操 — AccBalanced · 2026-11-04
- 一行改动让 RTX 20 系跑 Qwen-Image 2.1 速度翻倍 — xrailgun · 2026-11-04
- 4×RTX 3090 本地跑 DeepSeek V4.1 Flash:524k 上下文 30-40 tok/s — chota23 · 2026-11-04