2020 年 ThinkPad 无 GPU 跑 35B 模型生成体素宝塔,耗时 1.5 小时
dai_app · reddit · 2026-11-12
一位用户在 2020 年的 ThinkPad(Ryzen 7 PRO 5850U、16GB 内存、无 GPU)上全本地跑 Qwen3.6-35B-A3B Q4KM(21GB，比内存还大)，配合 BigMoeOnEdge v0.42 内置 agent，复现了爆火的体素宝塔 prompt：生成 988 行 HTML + Three.js，共 11.8k token，解码速度 2.3 tok/s，耗时约 1.5 小时。
可行性来自 MoE 架构：每个 token 只激活少量专家，稠密权重和 2GB 专家缓存驻留内存，其余从 SSD 流式读取，基于 llama.cpp 无 fork。瓶颈同样明确：一半时间耗在等 SSD，且 agent 每轮都要重读全部对话，在这台机器上约 30 分钟。对比：同模型在 16GB 内存的 Mac 上 20 分钟完成(解码 20 tok/s，prefill 100–1000+ tok/s)。
「Infra」频道最新
- SpaceX 南哈佛数据中心每年为当地学区县市净赚 6300 万美元 — 0xAllen_ · 2026-11-12
- 量子计算公司 Q-CTRL 宣布 C 轮融资，Salesforce 领投 — MJBiercuk · 2026-11-12
- Nebius Q3 营收 9.81 亿美元涨 68%，客户预付超 120 亿美元锁算力 — demian_ai · 2026-11-12
- EUROPA 联盟用 PyTorch 在欧洲超算上训练 1T 参数 MoE,单卡吞吐提升 14 倍 — PyTorch · 2026-11-12
- llama.cpp 星标突破 13.4 万，本地 LLM 推理标准持续扩张 — ggml-org · 2026-11-12
- Zig 写的 LLM 推理引擎 TensorFold 单日涨 58 星 — ashhart · 2026-11-12