网友构想小参数循环 MoE 架构: SSD 静态知识表+Dorry KV 缓存优化

Sea-Wind-2216 · reddit · 2026-11-18

一位 Reddit 用户提出一个设想中的小型 MoE 架构(约 10B 总参、2B 激活),组合三种已有思路来互补短板:

作者的动机是让小激活参数量掩盖循环开销,使模型能在低显存/消费级显卡上运行,并希望未来的 Qwen4 MoE 能采纳其中一些想法。属于非正式的架构畅想,无实验数据。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →