Poolside Laguna S 2.1 在 96GB 本地 GPU 机上跑到 256K 上下文
_TheWolfOfWalmart_ · reddit · 2026-07-22
作者刚把本地机器升级到一套新的显存配置，正好用来测试 Poolside Laguna S 2.1。
- 这台机器用了 3 张 V620，合计 96 GB VRAM；推理环境是 Dell PowerEdge R740，配 双 Xeon Gold 6248R 和 768 GB 内存。
- 目前测试的是 Laguna 的 Q4KM 量化版本，256K 上下文、F16 条件下运行。
- 初步吞吐大约是 400–600 tok/s prefill、16–20 tok/s generation，而且作者还没开 dflash。
- 他还提到单卡成本约 350 美元，并用 HTML flight simulator 做进一步实测。
「Infra」频道最新
- 印度芯片工厂仍高度依赖进口超纯化学品 — santoshpanda · 2026-07-22
- Sakana AI 联手 NVIDIA：新方法减少 LLM 数据浪费 — SakanaAILabs · 2026-07-22
- 略低于前沿的便宜模型，给分布式推理留出空间 — Ronangmi · 2026-07-22
- TokenSwitch 通过模型切换压低 Codex 的 token 成本 — DeryaTR_ · 2026-07-22
- 语音智能体正把 LangChain 可观测性推向文本之外 — Hacubu · 2026-07-22
- 惰性导入让 Python Agent 启动快 46%，还揪出隐藏循环依赖 — Federal-Teaching2800 · 2026-07-22