下一代 n-gram 模型要把知识卸载到 SSD,内存和存储会成为瓶颈吗

accelerate_to_asi · reddit · 2026-09-24

发帖人提出一个本地部署方向的技术问题:新一代 n-gram 类模型可将大量知识卸载到 SSD 和 RAM,从而释放 VRAM,但这是否会让 RAM 与 SSD 成为新瓶颈?其估算即便 27B 级别的小模型也可能占用数百 GB RAM 或 TB 级存储,并举例称 Qwen3.8 Flash Next 的 2-bit 量化版本仍比 Qwen3.8 27B 的 4-bit 量化更大,欢迎社区讨论计算与存储的权衡。