网友用 4 张卡组 RAID10 镜像,抢先试水 SSD 混合推理
TheZachMueller · x · 2026-10-12
TheZachMueller 转发关于「SSD 混合推理黎明」的讨论,称自己又一次「起太早」:已经搭了 4 套方案,用成对卡间做 RAID10 镜像来跑 SSD 混合推理。
这反映社区正在探索用大容量 SSD 承接超出显存的模型权重、降低推理成本的路线,虽然硬件先行、生态未熟,但属于端侧/本地推理 infra 的有趣实践。
「Infra」频道最新
- Ilya Sutskever:GPU 就是新的比特币 — abhiadesai · 2026-10-12
- 马斯克征募 Terafab 超级工厂人才:称产值将进入全球 GDP 前 20 — elonmusk · 2026-10-12
- GGUF Q4 与软件模拟 NVFP4 哪个好?Reddit 探讨 4bit 量化质量差异 — theqmann · 2026-10-12
- 10 个开源 GitHub 项目帮你砍掉 AI Agent 的 token 账单 — victor_explore · 2026-10-12
- AI 算力链观察周:ASML 停报订单,封测涨价创历史最大涨幅 — tengyanAI · 2026-10-12
- saranormous 回击:推理已成规模游戏,头部厂商客户极少流失 — saranormous · 2026-10-12