Strata 让十年老卡复活:双 Maxwell GPU 跑本地 LLM 达 150 tk/s 预填充
jmuff98 · reddit · 2026-10-17
Reddit 用户在 Quadro M6000 + Tesla M40（两块 Maxwell 架构老卡，共 48GB 显存）上用 Strata 运行本地 LLM，实测 prefill 约 150 tok/s、decode 约 25 tok/s。作者称速度和功耗都不出色，但对本地部署来说"意外地实用"——所有专家（experts）都能塞进显存，Strata 仅用于最大化 prefill 速度。
作者未做代码优化，只是把 NVIDIA 架构支持移植到 Strata 上让 Maxwell 卡得以运行。配图显示 34.5 tok/s 生成中、244W 功耗、双卡各约 20GB 显存占用的监控面板。
「Infra」频道最新
- Kimi K3 三个月后:1.56TB 全量模型本地难跑,排名已被追平 — Sanbi_Ai · 2026-10-17
- Epoch AI 数据：xAI 的 GPU 其实比 CoreWeave 还少 — bookwormengr · 2026-10-17
- 黄仁勋回应 AI 股抛售：一切都会过去，只是暂时现象 — Polymarket · 2026-10-17
- Cloudflare Workers AI 全面推行零数据保留，承诺不用客户数据训模型 — michellechen · 2026-10-17
- Modal 揭秘速度护城河:分层分布式文件系统 ImageFS — dejavucoder · 2026-10-17
- AWS 构建 AgentCore 生产级评测框架:agent 失败是静默的 — AWS ML Blog · 2026-10-17