SOTA Transformer 有哪些现代特征？SwiGLU 与短程卷积被点名
giffmana · x · 2026-11-10
- François Fleuret 发问：除了细节外，SOTA Transformer 的关键「现代特征」有哪些？他列出混合注意力（如 3 次 SWA + 1 次 FCA 重复）、MoE FFN、花式长上下文策略（大多只是常数级 KV cache 缩减）。
- Lucas Beyer（giffmana）补充：SwiGLU 肯定算非显而易见的现代改动；短程卷积（short convs）他已多次见到，但还不确定是否已算真正确立的设计。
所属事件:前 Meta 研究员发起讨论：SOTA Transformer 的现代特征(2 条相关)→
「研究」频道最新
- 斯坦福 AI100 第三份报告《AI Goes Mainstream》发布 — StanfordHAI · 2026-11-11
- 26040 次 agent 运行、耗百亿 token:换模型是否也该换 harness? — stuffyokodraws · 2026-11-11
- Perceptron 开源 EgoHome：亚秒级第一视角家务视频基准 — lukas_m_ziegler · 2026-11-11
- Epoch AI 图表：AI 推理成本年均降 13 倍，快过史上任何技术 — sebkrier · 2026-11-11
- 93 项随机试验系统综述上线：AI 对心理健康与信念准确性的真实影响 — DG_Rand · 2026-11-11
- Raschka 统计：开源 LLM 已无纯全注意力模型，混合架构成主流 — rasbt · 2026-11-11