从 Attention 到 TTT:一文梳理「平均化」路线的演进脉络
SonglinYang4 · x · 2026-11-01
Songlin Yang 转发 Jianlin Lin 的技术文章《The Path of Averaging: From Attention to TTT》,文章梳理了从 Attention 机制到 Test-Time Training(TTT)的方法演进路径,聚焦「平均化(averaging)」这一主线如何贯穿序列建模架构的发展。适合想理解线性注意力/TTT 类架构脉络的读者阅读原文。
「研究」频道最新
- 开源记忆层 ICE 实测:复杂度不低,却输给纯向量 RAG — Deepnar_S · 2026-11-01
- 仅 109M 参数小模型图像-文本对齐超越 72B 模型,训练数据省 42 倍 — Lazylion2 · 2026-11-01
- 猜架构谜题:三张空白结构图考你认不认识经典 ML 模型 — cneuralnetwork · 2026-11-01
- TIL：布尔电路其实可以是环形结构，不必是无环 DAG — thomasahle · 2026-11-01
- 开源 Platypus：模仿海马体-皮层双系统的持续学习语言模型 — ChrisLLM · 2026-11-01
- AI 专家「5% 灭绝风险」表述存偏:原调查问的还有严重失权 — NathanpmYoung · 2026-11-01