François Fleuret 提问:SOTA Transformer 的关键现代特性还有哪些
francoisfleuret · x · 2026-11-10
前 Meta 资深研究员 François Fleuret 在 X 上发起讨论，盘点当前 SOTA Transformer 模型的关键「现代特性」，并列出他心目中的三大件：
- 混合注意力结构：如 3 层滑动窗口注意力（SWA）配 1 层全注意力（FCA）循环堆叠
- MoE 前馈网络：混合专家 FFN 已成标配
- 长上下文策略：但认为多数只是把 KV cache 尺寸降为常数因子级别的优化
他向社区征询还有哪些遗漏的关键特性。
「研究」频道最新
- JoVox 发布：单张图一次生成 4³→64³ 分层体素结构 — pmttyji · 2026-11-10
- HALO 开源：给个人 Agent 的自我改进闭环做 L0-L5 分级审计 — liuziwei7 · 2026-11-10
- LMMS Lab 提出个人多模态 Agent 的 Action-Sensing-Memory 系统分析框架 — liuziwei7 · 2026-11-10
- Dnotitia 开源 DNA Factory：只用 5 种训练方法专治「训错了」 — likejazz · 2026-11-10
- 3 毫秒免训练改 LLM 权重:决策模型蒸馏效果媲美 LoRA — Nandakishor_ml · 2026-11-10
- Terence Tao 认可 AI 证明 Navier–Stokes 结果,但叹数学家几无所获 — sudoraohacker · 2026-11-10