双 3090 改单卡单模型，六路并发实测合计 243 tok/s
StewartalsopIII · x · 2026-11-06
网友 @benmagelsen 分享本地部署实测：过去数月将一个 27B 模型切分到两张 3090 上运行，速度只有 50-60 tok/s；改为每张卡跑一个独立模型后（一张跑高速度 Qwen 3.8 Flash-Next 带 262K 上下文，另一张跑 27B 带 128K 上下文），六路并发同时运行实测合计吞吐达 243 tok/s，提升显著。
「Infra」频道最新
- Yukon 通过每秒百万事件实测：为 Agent 设计的近实时表格同步工具 — testingcatalog · 2026-11-06
- 斯坦福新指标 Joules-to-GDP：每焦耳能量能从 AI 榨出多少美元价值 — rohanpaul_ai · 2026-11-06
- Lambda 更换域名：lambda.ai 正式迁至 lambda.com — TheZachMueller · 2026-11-06
- 德克萨斯数据中心自身条件极优仍遭 NIMBY 否决 — GabGarrett · 2026-11-06
- OpenAI 承诺让本地居民不为 AI 数据中心电费买单 — Polymarket · 2026-11-06
- 路透独家:约 60 万颗英伟达 H200 滞留香港,华水市场价一年涨三倍破 90 万美元 — teortaxesTex · 2026-11-06