32GB 显存跑 Qwen3.6-27 Q8 实测近 100K 上下文
BitGreen1270 · reddit · 2026-07-05
作者分享在 5090+64GB 内存、Ubuntu 无头服务器上,用 llama-server 运行 Qwen3.6-27B Q8 量化模型逼近 100K 上下文的实测参数。Q8 在约 60K 上下文下表现优于 Q6/Q5(主观体验),通过 KV Q80、-b/-ub 等配置进一步压榨显存。作者坦言这非严谨研究,仅为个人 vibe coding 项目经验,显存接近上限。
「Infra」频道最新
- 13B 模型靠 SSD 分页在无独显电脑上离线跑通 — ID_R_McGregor · 2026-07-27
- Ubuntu 部署惊艳实测：5090 显卡成最易配置的 AI 设备 — _xjdr · 2026-07-27
- 台积电传 2027 年拟提价 5%–10% 应对成本上升 — Beth_Kindig · 2026-07-27
- Anthropic 称 Claude Code 删掉 80% 系统提示词仍不掉分 — krishnan · 2026-07-27
- Dhruv Bhatia 加入 fal，转向视频与世界模型栈 — gorkem · 2026-07-27
- Kimi K3 登陆 Together，预留吞吐成本低 65% — togethercompute · 2026-07-27