社区为 Bonsai 2 27B 微调 MTP 头，推理提速约 1.25 倍
cephaloform · x · 2026-09-18
开发者 SSHCodes 发布了面向 bonsai 2 27b 的 MTP（multi-token prediction）头，已在 Hugging Face 开源（ProCreations/Ternary-Bonsai-2-27B-MTP）。该 MTP 头基于 Qwen 3 27B 的 MTP 头微调适配而来，实测可带来约 1.25 倍推理加速，可配合投机解码等方案加速现有模型推理。
「Infra」频道最新
- Baseten 推出服务端联网搜索，开源模型延迟降 15% 免编排 — AccBalanced · 2026-09-18
- 自建 Blackwell Colab 管线：2 小时 MiniMax H3 视频只要 $6.96 — Interesting-Town-433 · 2026-09-18
- 自建 Blackwell Colab 管线：2 小时 MiniMax H3 视频只要 $6.96 — Interesting-Town-433 · 2026-09-18
- LaurieWired 在 CppCon 主题演讲谈内存层级新趋势 — lauriewired · 2026-09-18
- NVIDIA 直播:用 CUDA 全栈支撑金融、医疗、制造业的专用 AI 负载 — NVIDIA Developer · 2026-09-18
- RTX Pro 6000 上 Ninfer 跑 Qwen3.6 35B 达 600 tok/s — CharlesStross · 2026-09-18