Bonsai 量化模型 128k 上下文跑出 50 tok/s,24GB 卡可双开
julianharris · x · 2026-09-18
julianharris 实测发现 Bonsai 量化模型比他常用的 Qwen 量化版更快更小:在 4090/24GB 上 128k 上下文满载跑出 50 tok/s(此前 32 tok/s),速度快到可以同时开两个会话;预计 256k 满上下文约 25 tok/s。结论是消费级单卡本地大上下文推理体验已大幅提升。
所属事件:Bonsai 量化模型实测：24GB 卡 128k 上下文跑出 50 tok/s(2 条相关)→
「Infra」频道最新
- 开源 gpu-unlock 项目让 GeForce AI 推理提速最高 2 倍 — paranoidray · 2026-11-04
- 这 10 篇 GPU 优化论文决定了今天模型跑得多快 — NandoDF · 2026-11-04
- 用一句提示词让 AI 排查跨区流量：迁移服务省掉跨大西洋延迟 — DanielLockyer · 2026-11-04
- SurrealDB 4 发布：多模型数据库瞄准 Agentic 时代 — Scobleizer · 2026-11-04
- 台松新竹多层材料厂凌晨大火爆炸，CCL 供应恐进一步吃紧 — zephyr_z9 · 2026-11-04
- 实测发现同名 Claude 一天走 Bedrock 一天走 Anthropic 直连 — georgos_pappas · 2026-11-04