Unsloth 版 Qwen3.8-27B 移植 MTP 模式,显存占用更低

Nyghtbynger · reddit · 2026-08-23

作者将 MTP 模式移植到 Unsloth 版本的 Qwen3.8-27B 模型中,解决了官方版本不自带 MTP 的问题。在 Vulkan 上测试显示,这种嫁接方式相比使用外部文件能节省 RAM。不过模型在 Thinking 关闭时表现较差,但在开启 Thinking 后,针对特定文化问题的回答质量有所恢复。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →