本地推理党吐槽:196GB 内存不够玩,512GB 才起步
AIFlow_ML · x · 2026-11-20
AIFlowML 吐槽当前本地推理设备的内存上限:仅有 196GB RAM 已经不够用,至少需要 512GB 才能「开始有乐趣」,而在超大型项目上低于 1M 的上下文窗口基本没有实用价值。他预计这一瓶颈要到 2027 年底才可能改善。
「Infra」频道最新
- KB证券:明年DRAM合约价将涨40%,大客户只能拿到七成货 — tengyanAI · 2026-11-20
- 美国新规或封堵台积电三星代工的中国 AI 芯片,阿里已转单中芯 — terryyuezhuo · 2026-11-20
- BitDecoding-FP4:原生 FP4 KV 缓存解码,精度不输 BF16 — kalyan_kpl · 2026-11-20
- 解码更快不等于 agent 先跑完:prefill 速度决定胜负 — AIFlow_ML · 2026-11-20
- Tessara 复盘 Nvidia 七项预测:五中两失,供应商订单暴增至 2030 亿美元 — tengyanAI · 2026-11-20
- 单张 Intel ARC B70 跑 Qwen3.8-Flash-Next:2.5K prefill、47 token/s — WizardlyBump17 · 2026-11-20