单台 AMD Strix Halo 跑通 552B 巨兽模型，解码 38.2 tokens/s
solyarisoftware · x · 2026-11-06
有人用一台搭载 Ryzen AI Max+ 395(128GB 统一内存)的迷你主机,靠新开源推理引擎 libosmos 在本地跑通体量惊人的 DeepSeek-V4.1-Flash:552B 主干参数加约 196B Engram 参数,解码时仅 16B 激活。
关键数据(UD-IQ1S 量化,Linux + ROCm 7.x):
- 投机解码 38.2 tps,无投机 19.2 tps
- 8K prompt 处理 482 tps
- 支持配置 1M 上下文
同一硬件与量化下对比 Project Maya 1.1.53:libosmos 投机解码 38.2 tps vs Maya 35.4 tps。这意味着无需多卡服务器,消费级迷你主机即可本地推理超大 MoE 模型。
「Infra」频道最新
- 传 ING 出售 5 亿美元数据中心贷款组合，据彭博报道 — apples_jimmy · 2026-11-06
- vLLM 团队创办的 Inferact 日服务 token 量突破 7 万亿 — woosuk_k · 2026-11-06
- 把闲置显卡显存当 swap 用：USM 比 NVMe 快约 7 倍 — kha333n · 2026-11-06
- 乌兰察布智算中心旁开商K，被称 AI 时代刚需生意 — basedjensen · 2026-11-06
- 马斯克称 SoftBank 正违约弃购燃气轮机订单 — SumitGup · 2026-11-06
- Thinking Machines Inkling 2 Small 训练消耗 12.55T tokens，RL 用掉超四分之一预训练算力 — YouJiacheng · 2026-11-06