Poolside Laguna S 2.1 在 96GB 本地 GPU 机上跑到 256K 上下文
_TheWolfOfWalmart_ · reddit · 2026-07-22
作者刚把本地机器升级到一套新的显存配置，正好用来测试 Poolside Laguna S 2.1。
- 这台机器用了 3 张 V620，合计 96 GB VRAM；推理环境是 Dell PowerEdge R740，配 双 Xeon Gold 6248R 和 768 GB 内存。
- 目前测试的是 Laguna 的 Q4KM 量化版本，256K 上下文、F16 条件下运行。
- 初步吞吐大约是 400–600 tok/s prefill、16–20 tok/s generation，而且作者还没开 dflash。
- 他还提到单卡成本约 350 美元，并用 HTML flight simulator 做进一步实测。
「Infra」频道最新
- PlanetScale 推出分片 Postgres,768 台服务器组成 1PB 单库 — dhruv2038 · 2026-09-11
- 7900 XTX 24GB 能否跑 Qwen，Reddit 征集 ROCm 实测数据 — thenomadexplorerlife · 2026-09-11
- 实测戳破 RTK 省钱神话:token 省了,账单分文未降 — Bartaseth · 2026-09-11
- SF Compute 创始人：现在买算力是「绝对糟糕的体验」 — IgorCarron · 2026-09-11
- 开源 SmolVM:2026 年 Agent 不止用浏览器,而是拥有整台电脑 — aniketmaurya · 2026-09-11
- PyTorch Day Korea 2026 首届线下大会启动,9月13日截止征集演讲 — PyTorch · 2026-09-11