两台 lucebox 组集群跑 DeepSeek V4.1 Flash,速度 103 tok/s 且比 Mac Studio 便宜
QuixiAI · x · 2026-10-29
QuixiAI 实测在两台 lucebox 组成的集群上部署 DeepSeek V4.1 Flash,推理速度达 103 tok/s,宣称比 Mac Studio 方案更便宜也更快。lucebox 团队回应称正努力让张量并行在 lucebox 上高效运行,低延迟是关键,效果已接近 DGX 水平;但也承认对于单机装不下的大模型,其网络互联与 DGX 仍有差距。
「Infra」频道最新
- Sam Altman 称全民本地推理「很糟糕」：DRAM 闲置 95% 浪费全球资源 — Hesamation · 2026-10-30
- 微软 Maia 300 曝光：机架密度翻倍、带宽 2.5 倍、吞吐最高 7 倍 — Beth_Kindig · 2026-10-30
- 基因组模型 Evo 2 适配 vLLM,7B 可在单张 H100 跑 1Mb 上下文 — anshulkundaje · 2026-10-30
- Meta 语义 token 化广告推荐系统，转化率提升 0.35% — Meta_Engineers · 2026-10-30
- 并行语言模型 5.7 倍提速：一次前向预测多 token 且质量不掉 — aaron_lou · 2026-10-30
- Oracle 投资者日披露:1GW AI 基础设施合约值 800 亿美元、ROI 约 28% — rohanpaul_ai · 2026-10-30