在 RNN 单元加入 Tversky 相似度分支,一半深度追平全深度并提速 2 倍
stanfordnlp · x · 2026-10-31
Stanford NLP 转发的一项架构实验:作者在 Vision-LSTM 与 xLSTM 所用的 mLSTM 单元中加入 Tversky 相似度分支。
- 在参数量相同的情况下,一半深度即可匹配甚至超过完整深度的基线
- FLOPs 减少约 20%,训练速度最高提升 2 倍
- 思路是把 Tversky 相似度(集合相似度的非对称推广)直接嵌入递归神经网络单元内部
作者发布了完整文章说明方法与实验细节。
「研究」频道最新
- AI 听懂狼嚎:黄石公园 50 万小时录音交给模型分析 — aza · 2026-10-31
- NBER 论文:工人「训练自己的替代者」反而可能涨薪 — joshgans · 2026-10-31
- Trata 发布 Hedge-Bench:顶级模型金融预测准确率不过半 — ycombinator · 2026-10-31
- Anthropic 内部 Claude 研究模型自称推翻 ETH:给出 2^o(n) 时间 3-SAT 算法 — ctjlewis · 2026-10-31
- CMU 新论文:预训练、微调与 RL 可统一为单一训练算法 — rohanpaul_ai · 2026-10-31
- LLM 强化学习暗藏 Off-Policy 漂移:48 页长文梳理 14 种修正方法 — cwolferesearch · 2026-10-31