备战本地大模型推理：极客组装 30TB SSD 与 256GB 内存
reto-wyss · reddit · 2026-08-03
随着本地大模型参数量日益增加，有开发者分享了自己为应对未来本地推理需求而组装的“极端”硬件方案。
- 存储与带宽：使用 12 张 Gen 4 3.2TB 硬盘（每张显卡分配两块），在 30TB 容量下实现约 60GB/s 的带宽，以应对模型加载需求。
- 内存与缓存：配备 256GB DDR4 内存专门用于 KV Cache，并利用高耐久度固态硬盘写入缓存。
- 背景：作者以调侃的口吻提及传闻中的“Le Chaton FAT”（暗指 Mistral 等开源模型），表示买不起过多的高端显卡，只能通过堆叠硬盘和内存来为下一代本地推理做准备。
「Infra」频道最新
- 为何 SQLite 架构将在 AI Agent 时代占据主导？ — glcst · 2026-08-03
- SK海力士营收超台积电引热议：存储芯片繁荣背后的隐忧 — jwt0625 · 2026-08-03
- M3 Ultra 跑 DeepSeek V4 速度达 37 t/s — mishig25 · 2026-08-03
- Cloudflare 启动 Agents Week：打造面向 AI 智能体的专属云原生底座 — ritakozlov · 2026-08-03
- 开源视频模型部署避坑：商用授权与显存需求实测对比 — Mysterious_Sign_9501 · 2026-08-03
- AMD与Core Scientific签530MW AI数据中心协议，价值超140亿美元 — Beth_Kindig · 2026-08-03