8GB 显存跑出 176K 上下文 36 t/s，实测配置全公开
campaigner_ · reddit · 2026-10-14
Reddit 用户分享在 8GB 显存 + 32GB 内存的机器上运行大上下文 MoE 模型的完整参数配置：实现 36 t/s 解码、约 340 t/s 预填充、176128 上下文长度。
关键配置包括 --expert-cache 2000 缓存专家、--kv q40 量化 KV cache、--spec 2 投机解码、--max-context 176128，以及一组专家自适应调度参数（--adapt-every/--adapt-swaps/--adapt-decay）和 300 MiB 显存预留。
作者点出的关键取舍：牺牲 MTP（对性能影响很小）换取预填充速度，靠缓存 2000 个专家解决瓶颈。实测无工具调用问题、无循环，192K 上下文下经历了 3 次 compaction 仍稳定（该场景需减少缓存专家数）。
「Infra」频道最新
- 投资人警告：neocloud 扎堆转推理却无差异化，恐难逃整合 — AccBalanced · 2026-10-14
- Lightning AI 将亮相 GTC 柏林，谈创业公司各阶段如何拿到 GPU — LightningAI · 2026-10-14
- Hugging Face 将直播讲解投机解码，如何给本地 LLM 提速数倍 — mervenoyann · 2026-10-14
- 黄仁勋的算盘：扶植 CoreWeave 在大客户与英伟达间筑起缓冲层 — AccBalanced · 2026-10-14
- 64GB 版 Nvidia Spark 欧洲售价 6574 欧元,比官方贵出离谱 — AIFlow_ML · 2026-10-14
- Toby Ord：押注算力与能力的整体关系，而非盯着单一瓶颈 — ben_j_todd · 2026-10-14