本地部署大模型:384GB显存下如何选型
Sentdex · x · 2026-07-03
Sentdex 发布本地大模型部署完整报告。首要考虑是能塞下多大的模型——其最大显存为 384GB,还需预留上下文空间。文中列出在不同精度与推理速度下的多种模型选择方案。
「Infra」频道最新
- 不用树莓派，一块 ESP32-S3 让 USB 打印机变 AirPrint — ngxson · 2026-10-27
- Michael Dell 称马斯克是最难伺候的客户，Colossus 六周建成换来回购 — elonmusk · 2026-10-27
- Tenstorrent 融资 15 亿美元，估值 62 亿较去年翻倍以上 — Beth_Kindig · 2026-10-27
- 前 MediaTek 专家访谈：Google TPU 外销今年约 80 亿美元，2028 年看 1040 亿 — RihardJarc · 2026-10-27
- Anthropic 拟向 SpaceX 采购 1205 亿美元算力,满载后月付约 31 亿 — XFreeze · 2026-10-27
- 恶搞：用 JEV 决策模型替换 Raft 共识，写入吞吐暴跌 99.98% — irombie · 2026-10-27