Poolside Laguna S 2.1 在 96GB 本地 GPU 机上跑到 256K 上下文
_TheWolfOfWalmart_ · reddit · 2026-07-22
作者刚把本地机器升级到一套新的显存配置，正好用来测试 Poolside Laguna S 2.1。
- 这台机器用了 3 张 V620，合计 96 GB VRAM；推理环境是 Dell PowerEdge R740，配 双 Xeon Gold 6248R 和 768 GB 内存。
- 目前测试的是 Laguna 的 Q4KM 量化版本，256K 上下文、F16 条件下运行。
- 初步吞吐大约是 400–600 tok/s prefill、16–20 tok/s generation，而且作者还没开 dflash。
- 他还提到单卡成本约 350 美元，并用 HTML flight simulator 做进一步实测。
「Infra」频道最新
- Anthropic S-1:每 1 美元收入烧 48 美分算力成本 — nmasc_ · 2026-10-26
- Persistent AI 入驻 UR 网络，隐私推理流量全程加密 — 0xSammy · 2026-10-26
- Anthropic 算力承诺曝光：Google 至少 1145 亿美元居首 — BenBajarin · 2026-10-26
- SpaceX 与 Apollo 达成 400 亿美元 AI 芯片与数据中心硬件租赁协议 — Polymarket · 2026-10-26
- Diamandis 盘点：SpaceX AI 业务年增 830%，Claude 64 小时设计 31.8 万抗毒蛋白 — PeterDiamandis · 2026-10-26
- Meta 拟发售至多 950 亿美元股票为 AI 基建输血 — The Decoder · 2026-10-26