按真实负载裁剪上下文窗口：Gemma 4 26B 单卡 H100 即可部署
Ctbhatia · reddit · 2026-10-17
一位工程师分享 Gemma 4 26B（gemma-4-26B-A4B-it）语音应用的部署经验：若按原生 131K 上下文预留显存，需要更大显卡或双卡；但实际业务最长 prompt 仅约 15K token，把服务窗口上限裁到 49K 后，权重加 KV cache 正好塞进单张 H100。
他们还对比了替代方案：
- 双 H100 张量并行：模型本已装进单卡，延迟无显著收益
- 单 H200 跑全窗口：每 GPU 输出多 24%，但 p50 首 token 时间仅快 10%
结论：裁剪窗口不会让模型更快，但让部署更便宜——每副本一张 H100。作者提醒大家按真实最大 prompt 而非原生窗口来选硬件，完整对比见其博客。
「Infra」频道最新
- 旧金山签署数据中心暂停令,Kwok 质疑「我们在干嘛」 — kevinakwok · 2026-10-17
- vLLM 原班人马创业做 Inferact：可控的高性价比推理平台 — Xianbao_QIAN · 2026-10-17
- 8 卡 AMD MI355X 跑 Kimi K3 吞吐超 B300 24.4%，每美元 token 多 87% — vllm_project · 2026-10-17
- Anthropic：Claude Code 首响应提速 3 倍，Claude API 快 1.5 倍 — ClaudeDevs · 2026-10-17
- 双 Mac 本地分体方案:M5 Pro 主脑 + M4 子代理跑编码 Agent — Calm-Set6265 · 2026-10-17
- 硬核玩梗:566GB 的 MiMo Pro 塞进 128GB Jetson,跑出 0.646 tok/s — Oswald_Hydrabot · 2026-10-17