12GB 显存的 4070 SUPER 跑起 61GB 无量化 BF16 30B 模型,速度提到 0.8 tok/s

Ill-Organization-38 · reddit · 2026-11-22

开发者展示其实验性本地推理环境 Shark Cove:在一块 12GB VRAM 的 RTX 4070 SUPER + 16GB DDR4 上,以原始 BF16 权重(约 61GB、完全无量化)运行 30B 模型,纯本地推理,速度从约 0.5 提升到 0.8–0.83 tokens/s(提高 60–66%)。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →