GLM-4.5-Air 现已支持 llama.cpp 的 MTP 加速
jacek2023 · reddit · 2026-08-24
用户提醒开发者，旧款模型 GLM-4.5-Air 现在可以通过在 llama.cpp 中启用 MTP (Multi-Token Prediction) 获得显著加速。该模型为 106B MoE 架构，激活参数仅 12B，适合内存大但算力有限的设备（如 3090 显卡）。作者分享了 HF 上的 MTP GGUF 文件下载链接，并推荐了基于该模型的一些创意写作/RP 微调版本。此更新也适用于完整版 GLM-4.5。
「模型」频道最新
- Google 官方展示 Gemini 4 Argon 攻坚内部最难工程问题 — CurieuxExplorer · 2026-10-15
- Perplexity 新 embedding 模型：大模型建索引、小模型做查询 — antoine_chaffin · 2026-10-15
- 797GB n-gram 放进 CPU 内存，小模型硬扛多 57% 算力 — PangWeiKoh · 2026-10-15
- 爆料称 Kimi 旗舰 x4 已完成预训练，K3.1 开始内部测试 — lyraxana · 2026-10-15
- Unsloth 发布 Nemotron 3.5 本地量化包:Bolt 24GB 内存可跑 — danielhanchen · 2026-10-15
- NVIDIA 开源 Nemotron 3.5 Bolt 双模型：74B MoE 与端侧 E4B 同日发布 — HankYeomans · 2026-10-15