Comet 60B (A12B) 已有 GGUF 量化版,保留 MTP 头可投机解码

Felladrin · reddit · 2026-11-10

网友 Felladrin 将 Multiverse Computing 的 Comet 60B(A12B,Nemotron 3.5 Super 的压缩版)转成了 GGUF 格式,可直接在原版 llama.cpp 上运行:

量化保留了 MTP 头,启动 llama-server 时加 --spec-type draft-mtp 即可启用投机解码加速。注意这两个 GGUF 仅支持文本,视觉塔(vision tower)未转换。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →