Clover 登陆 llama.cpp:35B MoE 混合块扩散生成,每 token 仅激活 3B
jacek2023 · reddit · 2026-11-03
llama.cpp 合并了 Clover 支持的 PR(#31306),这是一个基于 Qwen3.6-35B-A3B 的新架构:
- 35B 总参数,每 token 约 3B 激活:纯文本 MoE 骨干 + 块扩散(block diffusion)生成
- 混合架构:Gated DeltaNet(GDN)与全注意力结合,块内使用双向注意力,附加可学习的 GDN 参数支持块扩散,同时保留因果前缀
- 128K 上下文:prompt 与生成合计最高 131,072 tokens
将扩散式生成嫁接到 MoE 因果语言模型上是该架构最值得关注的设计点,本地推理用户现已可在 llama.cpp 中体验。
「Infra」频道最新
- 谷歌把 4 颗 TPU 送入太空跑 Gemma 4:电力只够一次点亮一颗,每轮运行 20 分钟 — demian_ai · 2026-11-03
- Mistral 科学家 VP：仅用 10 兆瓦算力训出 Le Chonk，喊话给他 1GW — _AndrewZhao · 2026-11-03
- UCSB 三个 ECE 项目获 IEE 种子资金，主攻能效 AI 与量子硬件 — ninamiolane · 2026-11-03
- 欧洲物理 AI 路线图：Gigafactory、主权算力与高风险 AI 法规并行 — ingliguori · 2026-11-03
- 权重瞬移开源:跨数据中心 RL 权重更新压缩到 0.23 秒 — gharik · 2026-11-03
- YouTuber 发片硬刚 Sam Altman,主打本地 AI 自建主机 — unchikuso · 2026-11-03