DeepSeek V4.1 Flash 本地跑上 128GB Strix Halo,单机流式或双机分布式
antirez · x · 2026-09-23
开发者 dcapitella 为 antirez 的本地推理工具 DwarfStar 添加支持,在 AMD Strix Halo（128GB 统一内存）上运行 DeepSeek V4.1 Flash，并测试了两种部署方式：
- 单机 SSD 流式加载：在一台 128GB 内存的机器上通过 SSD streaming 运行模型
- 双节点分布式：把模型切分到两台节点，通过 TCP 或 RoCE 网络互联运行
这展示了大参数模型在消费级/工作站级硬件上脱离数据中心运行的可行路径。
「Infra」频道最新
- Redis 推出 Radar 与 Search on Flex 等面向 Agent 的新能力 — antirez · 2026-09-23
- 24GB显存AMD卡跑视频模型:2分钟仅生成2秒480p — OneMoreName1 · 2026-09-23
- FT 曝光：字节跳动占 Nscale 2025 年近 75% 销售额，借挪威设施获取英伟达芯片 — nathanbenaich · 2026-09-23
- 算力价格下不去的根源：你买不到 10 flops，只能按整包买 — davidmanheim · 2026-09-23
- 质疑成本下降曲线：蒸馏小模型低价与价格地板的两难 — davidmanheim · 2026-09-23
- 富士通闪存技术经 Spansion 与 XMC 辗转成为 YMTC 发展起点 — zephyr_z9 · 2026-09-23