30B 模型塞进 32GB 显卡：量化与投机解码如何做到
TimDarcet · x · 2026-10-21
作者回应外界对「30B 参数模型跑在 32GB 显卡上」的疑问，指出这依赖两项关键技术：量化（quantization）与投机解码（speculative decoding）。帖子还附了一张雷达图，坐标轴归一化到 0-100，用于展示相关指标对比。
所属事件:旧双卡 48GB 与 32GB 显卡跑 30B 模型引热议(2 条相关)→
「Infra」频道最新
- WSJ 称 Anthropic 本季算力支出超 6000 亿美元,传 50 亿砸 RL 环境 — himanshustwts · 2026-10-21
- JAX 提速 2.27 倍:速度跑赛道把 nanGPT 训到 4.179 仅需 6.76 秒 — RobertTLange · 2026-10-21
- SpaceX Q3 营收 145.8 亿美元暴增 161%，AI 业务涨 830% — shaunmmaguire · 2026-10-21
- Ben Bajarin 测算：AI 到 2030 年支出 9.6 万亿美元，收入仅 4.1 万亿但仍可自我造血 — BenBajarin · 2026-10-21
- GLM-5.3-Flash NVFP4 实测：2x H200 与 4x RTX Pro 6000 吞吐几乎打平 — TheZachMueller · 2026-10-21
- DeepSeek V4.1 Flash 推理部署拆解：Engram 减参 30% + WideEP 摊薄权重 — teortaxesTex · 2026-10-21