122B MoE 开源模型跑进 DGX Spark:52 tok/s、256K 上下文全配置实测
lmoroney · x · 2026-10-22
Ornith 发布 122B 混合专家模型 Ornith-1.5-122B，主打编码与智能体任务，官方称基于 Qwen3.5 做了额外的预训练、中期训练与后训练；SGLang 提供了 day-zero 支持（含推理、工具调用、262K 上下文配置）。
开发者 @MiaAIlab 给出了在 DGX Spark 上用 4 bpw 量化（EXL3-EAQ）跑通该模型的完整配方，也可适配 RTX PRO 6000：
- 256K 上下文，KV cache 总量 1M，默认 4 路并发流
- 总显存占用 86 GB，使用 DFlash2 draft
- 解码速度（关思考）：单流散文 52 tok/s、代码 103 tok/s；4 路并发散文 90 tok/s
- 预填充最高约 2000 tok/s
作者整体评价：这款模型手感不同于 Qwen3.8-Flash-Next，有自己的风格，值得一试。这也是「桌面级设备能跑多大开源模型」问题的一个新样本。
「Infra」频道最新
- BIND9 爆高危漏洞：重放 GSS-TSIG 消息可致远程代码执行 — basedjensen · 2026-10-22
- 16GB 显卡同时跑生产应用和 Agent:后台任务凭什么抢推理资源? — Powermadlux · 2026-10-22
- Gartner：AI 数据中心需 8.5 万亿美元营收，预期仅 3.6 万亿 — AIFlow_ML · 2026-10-22
- FlashAttention 4 在 GB300 上快到「离谱」，做优化的都头疼 — francoisfleuret · 2026-10-22
- 转引评论:身价 3000 亿美元的 Larry Page 拒付 5% 身价建基础设施 — georgemillo · 2026-10-22
- 传亚马逊购入 50 亿美元 Nvidia GB300 机架,却因缺电闲置吃灰 — AIFlow_ML · 2026-10-22