Laguna-S-2.1 在 8.3GB 显存、52GB 内存机器上跑通
crusaderky · reddit · 2026-07-23
Laguna-S-2.1 在 6 年老游戏本上跑起来了
一位 Reddit 用户称，Laguna-S-2.1 已经能在一台 2020 年主机 上运行：RTX 3080 10GB、Ryzen 9 3950X、64GB 内存。只是实际可用性很有限，基本只能夜里跑，因为显存和主存都几乎被吃满。
他的配置是 IQ4XS、128k 的 q8/q8 上下文、所有 dense 层都放进 VRAM、不开 DFlash。实测吞吐大约是 120 t/s prefill、10 t/s decode，资源占用为 8.3 GB VRAM 和 52.2 GB host RAM。他还补充说推理“开箱即思考”，并贴出了 llamacpp CUDA 参数，期待后续切到 kvarn 后显存压力能缓解。
「Infra」频道最新
- 为人类设计的科研栈，正在不适配 AI 科学家 — AnneliesGamble · 2026-07-23
- Alchemy beta 扩展到 204 项 AWS 服务与 Lambda 工作流 — samgoodwin89 · 2026-07-23
- 十个技巧把 AI API 账单砍掉最多 90% — socialwithaayan · 2026-07-23
- AI 定价不只是 token 问题，背后是显存和算力成本 — Kyrannio · 2026-07-23
- NVIDIA 推出 Jetson Thor T2000 和 T3000，面向机器人与边缘 AI — NVIDIAAI · 2026-07-23
- AWS 据称今年将出货 240 万颗 Trainium3 加速器 — Beth_Kindig · 2026-07-23