「MoE 是数据中心架构,循环 Transformer 是笔记本架构」引热议

andreisavu · x · 2026-11-22

@zhengyaojiang 提出观点:MoE 用内存换算力——权重巨大但每 token 只激活少数专家,适合大批量与大 GPU;而笔记本上 batch size 为 1、内存有限。循环 Transformer(looped transformer)做相反取舍:复用同一组权重、多花算力、内存需求小得多。

他预测本地模型与云端模型最终会走向截然不同的架构,甚至出现专为本地推理发明的架构。帖子引用了 thinkymachines 的 Inkling 2 Mini:26B 参数循环 Transformer,宣称可在笔记本运行并胜任 agentic 工作,AA Index 得分 20.1。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →