瑞典小实验室实测：RTX 5090M 跑 Gemma 4 31B 最高 4154 tok/s
leonbollerup · reddit · 2026-10-29
瑞典北部小型研究实验室 iNordic 分享了 RTX 5090M 上运行 Gemma 4 31B 的「最优配置」研究（借助 Claude 和其自研 Sysops AI harness skyclaw 完成），并开源了配置仓库。
关键数据：
- Prompt 生成：Fast profile（NVFP4）在 8K 上下文达 4154 tok/s，130K 上下文约 1600 tok/s；Max-context profile（QAT Q4）可在 231K 上下文保持 528 tok/s。
- Decode：单用户、MTP 7 drafts 下，短对话约 118 tok/s，8K 上下文后仍达约 110 tok/s；对比基线（abliterated Q4K）仅约 33 tok/s。
团队希望帮助更多人在家用上大模型，欢迎反馈改进建议，仓库见 github.com/inordic/rtx5090-NInferno-gemma4-31b。
「Infra」频道最新
- Baseten 优化 Qwen3-ASR:一小时音频 5 秒转完仅 0.13 美分 — baseten · 2026-10-29
- Google DeepMind 工程师五项 CUDA 优化，把 3DGS 渲染再提速 10.5 倍 — janusch_patas · 2026-10-29
- Snowflake CEO 加入「见顶」论：算力高杠杆者恐遭挤兑式打击 — SumitGup · 2026-10-29
- Dave White：靠零知识证明，中美 AI 训练减速协议其实可执行 — _Dave__White_ · 2026-10-29
- NVIDIA FastGen 大更新：新增 LTX-2.5、FLUX.2 等五款模型与四种加速方法 — ArashVahdat · 2026-10-29
- Decagon 打造自我改进的推理优化循环，长文拆解 inference stack 实践 — kimberlywtan · 2026-10-29