12GB 显存的 4070 SUPER 跑起 61GB 无量化 BF16 30B 模型,速度提到 0.8 tok/s
Ill-Organization-38 · reddit · 2026-11-22
开发者展示其实验性本地推理环境 Shark Cove:在一块 12GB VRAM 的 RTX 4070 SUPER + 16GB DDR4 上,以原始 BF16 权重(约 61GB、完全无量化)运行 30B 模型,纯本地推理,速度从约 0.5 提升到 0.8–0.83 tokens/s(提高 60–66%)。
- 配图显示 48/48 层全深度前向验证通过、无损专家路由缩减 32.96%、SSD+CUDA 分级缓存方案
- 还内置硬件监控、内存管理,以及每轮重置活跃上下文预算、单独保留对话信息的 Dynamic Token Window
- 作者明确目标不是追平云端速度,而是探索受限消费硬件上不牺牲原始权重的可能性;执行方法暂不公开,属概念验证阶段
「Infra」频道最新
- 联想企业 AI 基础设施收入暴增 200%,超过云厂商增速,在手订单 800 亿美元 — shashib · 2026-11-22
- 开发者吐槽堆 GPU 路线:DeepSeek 用效率取胜,1M 上下文不到 1GB 内存 — gnukeith · 2026-11-22
- 开发者开源 Wiretok:本地只读监控 Antigravity 压缩余量与 API 花费 — phosphorhouse · 2026-11-22
- 马斯克详解 Tesla 车内实时世界模型:约 1B 参数 diffusion 每秒 36 帧 — flngr · 2026-11-22
- SEC 据报调查英伟达会计操作,股价单日暴跌 14% — mark_k · 2026-11-22
- ING 5 亿美元数据中心贷款打包卖不掉,被迫拆单甩卖 — churchkey · 2026-11-22