Tesla V100 本地跑 MoE 大模型：55 tok/s 解码，31.6GB 显存缓存 8109 个专家
Traditional_Bell8153 · reddit · 2026-11-03
Reddit 用户展示其本地 LLM 推理监控面板（Strata），V100-32GB 单卡 + 126GB 内存跑 MoE 模型的实际数据。
- 解码 55 tok/s、prefill 310 tok/s，GPU 负载 97%，温度 62°C，功耗 153W。
- 专家卸载：31.6/32GB 显存缓存 8109 个专家（23.7GB），系统 RAM 98.3/126GB。
- 上下文 256K 中已用 8K；累计 4399 次请求读取 1806 万 prompt tokens（862 tok/s），其中 2.98 亿 tokens 复用，496/500 请求复用了部分前缀缓存。
- 停车会话缓存 10/16 个，占用 15.4/16GB 内存。
「Infra」频道最新
- Mistral Large 4 发布：1T 参数 MoE，KV-cache 压缩 16 倍反伤 agentic 能力 — _AndrewZhao · 2026-11-03
- 曝 DeepSeek V5 将用华为昇腾芯片预训练，Ascend 960DT 预计 2027 Q1 就绪 — teortaxesTex · 2026-11-03
- 韩产 HBM 竟被走私入境，The Information 起底对华芯片暗流 — AccBalanced · 2026-11-03
- 研究者拆解 NVIDIA GPU 机密计算架构并实测其安全属性 — burkov · 2026-11-03
- Nebius CTO 回忆：首日上线 1600 块 H100 即推倒整个技术栈重来 — AccBalanced · 2026-11-03
- 推理云 CEO 透露：做 SEO 不只为人类，还要让 Agent 找到并购买算力 — abhijithneil · 2026-11-03