单台 128GB Strix Halo 跑 300B 级 MoE:Kyojin 引擎实测 GLM 26-30 tok/s
Yaniss916 · reddit · 2026-10-03
Yamz-Labs 发布 Kyojin 引擎(基于 ExLlamaV3,面向 AMD Strix Halo / gfx1151 的 ROCm),让两台 128GB 的 Ryzen AI Max+ 395 迷你主机各装一个 300B 级 MoE 模型:
- GLM-5.3-Flash(99.7GB EXL3):3.5K 上下文 prefill 580 tok/s,64K 时 546 tok/s;decode 26-30 tok/s(MTP)。
- MiMo-V2.6-Flash-MOPD(105GB,自家量化):prefill 650 tok/s @4K;decode 普通 29 tok/s,投机解码下代码 44 / 对话 35 tok/s。
- 质量指标:与官方 FP8 相比 KLD 分别 0.151 / 0.0713,top-1 一致率 89.3% / 92.0%。作者自配的 GLM 层混合比 turboderp 公开的 2.05bpw 包 KLD 更低(0.190 vs 0.275),但后者更小且 decode 快约 10%。
- 另有 -Uncensored 变体(加载时应用一个小文件,可一键关闭)。
- 快速上手:clone + ./build.sh + hf download + serve.py,提供 OpenAI 风格 API。引擎开源,权重在 HF,欢迎其他 Strix Halo 用户提交 tok/s 数据与 PR。
「Infra」频道最新
- AMD Loom 实测:Qwen3.5-4B 在 Radeon 890M 上 prefill 提速 2.6 倍 — jfowers_amd · 2026-11-19
- 开发者向 GKE 沙箱项目提 PR:定期 checkpoint 防 agent 进度丢失 — yoimnotkesku · 2026-11-19
- AWS Lambda 终于支持 GPU:托管实例可跑模型推理与媒体处理 — DavidWells · 2026-11-19
- 曝黄仁勋人为制造显卡稀缺抬价获利,库存积压仍维持高价 — GaryMarcus · 2026-11-19
- AWS AgentCore Identity 支持私有 CA,Agent 可直连内网自建 IdP — AWS ML Blog · 2026-11-19
- 爆料:中国秘密研发百万卡级无HBM训练集群,国产芯片架构存疑 — teortaxesTex · 2026-11-19