llama.cpp 发布 v0.4.0:新增 Qwen3.8-Flash-Next 与稀疏注意力大更新
solyarisoftware · x · 2026-09-05
llama.cpp 发布 v0.4.0 版本,主要更新包括:
- 初始支持 Qwen3.8-Flash-Next(qwen4exp)架构与 NVIDIA Nemotron-3-Puzzle-75B-A9B 模型
- 新增 llamalazymode 懒加载张量按需读取
- 服务端支持 per-slot 上下文上限
- 多模态侧新增视频输入选项与 mtmdtokenizefromparts() 等 API
- ggml 升级到 0.23.0,带来大规模稀疏 flash attention 与 RDMA 支持
另有会话/KV 状态版本更新与量化参数 maxbufsize 等 API 变更。
「Infra」频道最新
- 欧洲博士生可随需使用 B200,美国同行要靠数据创业公司养项目 — HildeKuehne · 2026-10-23
- 英伟达柏林 GTC:人形机器人与 Vera Rubin 超算成主角 — emmanuelvivier · 2026-10-23
- 联想 AI Library 新增 5 个用例，宣称一周部署、成本降 70% — shashib · 2026-10-23
- kernel 全面跑赢 cuBLAS 不重要,快速迭代调优才是关键 — blelbach · 2026-10-23
- llama.cpp 团队发布 Llama：Mac 菜单栏一键本地跑 AI 模型 — Hugging Face · 2026-10-23
- 中国日均 Token 消耗达 500 万亿,均价一年从 6.8 元涨至 13.46 元 — teortaxesTex · 2026-10-23