llama.cpp新增Hy3推理支持
pmttyji · reddit · 2026-07-14
这个 GitHub PR 给 **llama.cpp** 增加了对 Tencent **Hy3 / HYV3ForCausalLM** 的支持，并把它的 **MTP（multi-token prediction）头** 接入到 `draft-mtp` speculative decoding 目标中。 帖子里提到的模型配置包括： - **299B MoE** - **80 layers + 1 MTP layer** - 支持作为 speculative decoding 的草稿模型目标 本质上是一次面向大模型推理的运行时适配与性能优化。