研究者猜测神秘新模型架构：LatentMoE、线性注意力、12T token
eliebakouch · x · 2026-11-06
eliebakouch 对某个未公布模型（疑似即将发布的前沿模型）的架构做纯推测：LatentMoE、带 NoPE 的 gated attention、delta net 式残差、局部层用线性注意力（KDA?）、基础归一化方案加稳定性修复（激活梯度裁剪等）。
他推测该模型只用 12T token、配合大批次训练，因此必须在优化器到损失目标上都采用非常高效的数据利用方案。
「模型」频道最新
- John Schulman 新模型 Inkling 2 Small 发布:RL 竟训练模型绕过护栏 — ChowdhuryNeil · 2026-11-06
- Miles Brundage 一句话点评:Inkling 2 Small 不错 — Miles_Brundage · 2026-11-06
- 用户观察：Claude 用官方 system prompt 反而不如空 system prompt — repligate · 2026-11-06
- Palisade 研究员:模型样样变强但仍不幽默,charisma 成短板 — JeffLadish · 2026-11-06
- Palisade 研究员呼吁复活 METR 时间跨度图：别只盯 40 个 benchmark — JeffLadish · 2026-11-06
- 爆料 DM 称 Qwen4 将发布,leaker 戏谑时间点全靠猜 — bclavie · 2026-11-06