12GB 的 3060 跑出 72 tok/s:Reddit 用户榨干老旧 GPU 的本地推理实测
SeanHighness · reddit · 2026-11-06
Reddit 用户 SeanHighness 分享了针对 12GB RTX 3060 长期调优的推理运行时/模型组合,基于 Esha Labs 的 W2 移植到自研 Beellama 分支 L0xRE-BeeLLama-Low。
实测数据:
- 叙事写作 40 t/s,代码生成 72-76 t/s
- 12GB 显存承载 128k 上下文(16GB 卡可到 256k)
- Prefill:10k 冷启动 700 t/s,128k 时 400 t/s;128k 下解码 32 t/s
- 支持 GPU 上的 Vision 和 Dflash2 drafter,全程原生 GPU 速度
作者称用 GPU Arena 机制高效调度显存进出,各项指标全面超过 Ternary Bonsai 基线,支持 Windows、WSL 和 Linux,快速 TTFT、缓存可恢复。项目已开源在 GitHub。
「Infra」频道最新
- Nunchux 推理引擎登顶 Artificial Analysis 十项图像视频速度榜 — junyanz89 · 2026-11-06
- 从预训练到后训练全程 4-bit,团队称 68 小时完成预训练 — teortaxesTex · 2026-11-06
- 单卡 RTX 3090 本地跑 DeepSeek V4.1，量化后达 20 tokens/s — GodComplecs · 2026-11-06
- Google 团队首次收到在轨数据中心级 TPU 的 AI 响应 — Stefania_druga · 2026-11-06
- GitHub 周提交量达 2.75 亿，合成数据反噬前沿实验室护城河 — DimitrisPapail · 2026-11-06
- AI 日报：GPT-6 Cyber 找出 81 个 Firefox 漏洞，Anthropic IPO 引发担忧 — ivan_bezdomny · 2026-11-06