网友构想小参数循环 MoE 架构: SSD 静态知识表+Dorry KV 缓存优化
Sea-Wind-2216 · reddit · 2026-11-18
一位 Reddit 用户提出一个设想中的小型 MoE 架构(约 10B 总参、2B 激活),组合三种已有思路来互补短板:
- MoE 稀疏化:提高每个循环内的稀疏度,获得优于稠密模型的 scaling。
- Engram 知识表:用 20-50B 可留在 SSD 上的静态参数承载知识,以极低计算成本补充事实,保持激活参数很少。
- 循环(looped)推理:用重复循环强化推理能力。
- NVIDIA Dorry 式 KV 缓存优化:解决循环带来的 KV cache 膨胀问题。
作者的动机是让小激活参数量掩盖循环开销,使模型能在低显存/消费级显卡上运行,并希望未来的 Qwen4 MoE 能采纳其中一些想法。属于非正式的架构畅想,无实验数据。
「Infra」频道最新
- The Verge 深挖微软 Outlook 大规模宕机:原因与修复为何耗时 — tomwarren · 2026-11-18
- Kimi K3.1 Pro DSpark 细节:2.5B 草稿模型,GSM8K 接受长度 5.57 — vllm_project · 2026-11-18
- vLLM 发布 Kimi K3.1 Pro 投机解码草稿模型,接受长度最高提升 30% — vllm_project · 2026-11-18
- Wonderful 自研语音模型基于 Together AI,首句延迟仅 274ms — togethercompute · 2026-11-18
- Anthropic S-1 揭示仅 25% 算力用于推理,投资人直呼看空 — toptickcrypto · 2026-11-18
- LanceDB 融资 5750 万美元 B 轮,瞄准 AI 时代的多模态数据栈 — pzakin · 2026-11-18