「MoE 是数据中心架构,循环 Transformer 是笔记本架构」引热议
andreisavu · x · 2026-11-22
@zhengyaojiang 提出观点:MoE 用内存换算力——权重巨大但每 token 只激活少数专家,适合大批量与大 GPU;而笔记本上 batch size 为 1、内存有限。循环 Transformer(looped transformer)做相反取舍:复用同一组权重、多花算力、内存需求小得多。
他预测本地模型与云端模型最终会走向截然不同的架构,甚至出现专为本地推理发明的架构。帖子引用了 thinkymachines 的 Inkling 2 Mini:26B 参数循环 Transformer,宣称可在笔记本运行并胜任 agentic 工作,AA Index 得分 20.1。
「Infra」频道最新
- 伯克利实验室报告:数据中心推高电价说法不成立,负荷增长未致涨价 — Eliv_nurotic · 2026-11-22
- WSJ 爆料:黄仁勋伴侣旗下合伙人涉嫌向中国走私英伟达芯片 — GaryMarcus · 2026-11-22
- Hierarchos-Native v0.2.5 发布:P3 改进 RDNA3 FP16 GEMM,单项提速 27% — PhysicsDisastrous462 · 2026-11-22
- prime-rl 0.11.0 发布:训练提速最高 1.5 倍,新增预训练入口 — samsja19 · 2026-11-22
- 每 GPU 日产 646 亿 token:一组数字推演 AI 算力过剩假说 — bookwormengr · 2026-11-22
- 长江存储闪存品牌致态高调亮相韩国游戏展 G-Star — terryyuezhuo · 2026-11-22