32GB 显存跑 Qwen3.6-27 Q8 实测近 100K 上下文
BitGreen1270 · reddit · 2026-07-05
作者分享在 5090+64GB 内存、Ubuntu 无头服务器上,用 llama-server 运行 Qwen3.6-27B Q8 量化模型逼近 100K 上下文的实测参数。Q8 在约 60K 上下文下表现优于 Q6/Q5(主观体验),通过 KV Q80、-b/-ub 等配置进一步压榨显存。作者坦言这非严谨研究,仅为个人 vibe coding 项目经验,显存接近上限。
「Infra」频道最新
- DeepSpeed 发布 AutoEP/AutoTP 等并行化进展并办线上答疑 — PyTorch · 2026-10-27
- Cloudflare Durable Objects 被验证为 AI agent 高并发场景优选架构 — tristanbob · 2026-10-27
- Gary Marcus:补上 Q3 数据后，Anthropic 算力效率增速现拐点 — GaryMarcus · 2026-10-27
- 推理社区与 K8s 社区高度重合：万亿市场的 Kubernetes 翻版 — matt_slotnick · 2026-10-27
- vLLM 考虑将更多栈迁往 Rust，推理引擎 Rust 化成趋势 — AccBalanced · 2026-10-27
- 同一套 DeepSeek 内核两种优化路线：vLLM 拆专家、SGLang 降访存 — AccBalanced · 2026-10-27