1.58bit 三值 Nemotron 30B MoE:12GB 显存跑 368K 上下文
pmttyji · reddit · 2026-10-26
Hugging Face 用户 boro64 发布了 Ternary Nemotron 3.5 Lightning 30B-A3B 的 GGUF 量化包:一个 1.58-bit(三值)量化的 30B MoE 模型(A3B,激活约 3B 参数),可在 12GB 显存的 GPU 上运行 368K 长上下文。
官方给出的实测数据:解码速度 172 tok/s,预填充(prefill)超 7000 tok/s。该模型同时兼容原生 llama.cpp(已在 b11555+、b11796 验证)和 PrismML fork/Bonsai(已在 b10793 验证),一个文件支持两种引擎。
「Infra」频道最新
- 3360 美元攒 256GB 内存 Threadripper,求跑大模型推理速率建议 — sitytitan · 2026-10-26
- Ramp 数据：AI 支出前 1% 企业超三成预算流向裸 GPU 算力 — rohanpaul_ai · 2026-10-26
- 三卡+130GB 内存跑 Qwen3.8B 仅 18 T/s，网友求本地提速方案 — MageLD · 2026-10-26
- 二手 3090 涨破 1500 美元,Reddit 用户 repair 后寻替卡 — like_a_tensor · 2026-10-26
- 双卡 Radeon R9700 本地跑 DeepSeek V4.1-Flash:8K 上下文解码 49 tok/s — Longjumping-Elk-7756 · 2026-10-26
- Anthropic 日均合并代码从 2500 暴增至 3 万,自研 Scion 五个月替换 git — bibryam · 2026-10-26