64GB 内存跑 DeepSeek-V4 仅 9-15 tok/s，实为容量噱头
petrusenko_max · x · 2026-11-09
博主分析了 llama-modchip 项目宣称的『56.56 GiB 的 DeepSeek-V4 塞进 64GB 内存』：这本质是 1.71 bpw 极低比特量化的容量把戏而非推理优势——解码速度仅 9.1–14.7 tok/s，撑不起并发 agent 流量；该项目自己的 GPU offload 路径可达 80.80 tok/s。提醒别被标题数字误导，评估端侧部署要看实际吞吐。
「Infra」频道最新
- Chamath：数据中心供给吃紧，SpaceX 可 90 天通知对 Anthropic 提价 2-3 倍 — rohanpaul_ai · 2026-11-09
- Anthropic 数据中心旁将部署大型天然气发电机,社区担忧噪音与污染 — bigdata · 2026-11-09
- macOS 27.3 让 Mac 虚拟机调用宿主 GPU 与神经网络引擎,AI 任务提速至 7 倍 — SumitGup · 2026-11-09
- 1299 美元 Intel B70 对阵 6500 美元 RTX 5090：本地跑 Qwen 只要一半速度、五分之一价格 — maikerukonare · 2026-11-09
- 2.8T Kimi K3.1-Pro 压到 775GB 单卡跑：精度无损、吞吐 36.8 TPS — Grawnch · 2026-11-09
- AbridgeKV 潜空间压缩 KV 缓存:1/4 缓存持平精度,推理提速 3.2 倍 — DimitrisPapail · 2026-11-09