逆向 Splash 包格式移植 Qwen3.8-27B，M5 Max 上 64k 上下文解码近 88 tok/s
SeveralViolins · reddit · 2026-09-22
- 开发者将 Swift-Qwen3.8-27B 4bit 量化模型移植到 Splash 推理引擎（仅限 macOS）。Splash 只文档化了包格式却没提供转换器，作者从引擎源码逆向推敲出字节级布局（分节偏移、打包顺序、量化规则），并用唯一的参考包验证；重活交给 Qwen 27B 完成，最后让 Opus 整理和抽查。
- 性能：在 M5 Max 128GB 上解码 79–129 tok/s；64k 上下文时 87.8 tok/s，而同样权重在 oMLX（oQ4e-mtp 混合 4/5-bit）只有 36.6 tok/s，且上下文越长差距越大。
- 踩坑：Splash 的 /v1 接口默认 greedy 解码，但 Swift 模型需要 temp 1.0 / topk 20 / topp 0.95，且包格式没有地方携带 generationconfig.，必须显式传参（用 DSH 的话写个 shim）。
- 许可：权重随上游项目，Swift Open License v1.0（营收低于 100 万美元可免费商用，该条件随权重传递）。
「Infra」频道最新
- 微软 SC26 将揭秘 Maia 加速器:日服务数万亿 token 的数据流设计 — thoefler · 2026-11-12
- ClickHouse 收购 Xata 并发布 Managed Postgres,客户超 5000 家 — CShorten30 · 2026-11-12
- Ben Shapiro 公开推荐《The Nvidia Way》,作者直呼没想到 — firstadopter · 2026-11-12
- 2026 中期选举 41 项数据中心公投 40 项倒向反 AI 建设方 — Acceptable-Offer-518 · 2026-11-12
- KubeCon 前夕 Azure Day：AKS 单集群 65 节点跑 2.2 万个 Agent — davemccollough · 2026-11-12
- CoRL 会场同址开天然气论坛,主题直指 AI 数据中心供电 — carlosdponx · 2026-11-12