下一代 n-gram 模型要把知识卸载到 SSD,内存和存储会成为瓶颈吗
accelerate_to_asi · reddit · 2026-09-24
发帖人提出一个本地部署方向的技术问题:新一代 n-gram 类模型可将大量知识卸载到 SSD 和 RAM,从而释放 VRAM,但这是否会让 RAM 与 SSD 成为新瓶颈?其估算即便 27B 级别的小模型也可能占用数百 GB RAM 或 TB 级存储,并举例称 Qwen3.8 Flash Next 的 2-bit 量化版本仍比 Qwen3.8 27B 的 4-bit 量化更大,欢迎社区讨论计算与存储的权衡。
「Infra」频道最新
- 曝 AI 芯片创企 DensityAI 拟融资数亿美元，估值 100 亿美元 — steph_palazzolo · 2026-09-25
- 曝 xAI 三个月内点亮 66 万张 GB300，年底 GPU 总量达 144 万 — ns123abc · 2026-09-25
- Epoch AI 图表:同等智能水平 AI 价格持续跳水,降幅超其他技术 — jeff_weinstein · 2026-09-25
- 多智能体通信催生新基建:Agent 间的「全局总线」会是下一个原语 — madhavsinghal_ · 2026-09-25
- 投资人预言：3-5 年内芯片到 PCB 设计将融合成一条连续流 — ai · 2026-09-25
- 高通 2nm 骁龙8至尊版发布：CPU 首破 5GHz，全线为智能体重写架构 — 量子位 · 2026-09-25