论文将 Transformer 解读为微分方程离散化的严格数学框架
NandoDF · x · 2026-09-13
新论文《A Mathematical Explanation of Transformers》为 Transformer 与大语言模型架构构建了严格的数学框架：把 Transformer 视为连续积分-微分方程的离散化，自注意力对应非局部积分算子，层归一化对应到约束集合上的投影，前馈层与激活函数纳入同一框架；再用算子分裂和数值离散化还原标准 Transformer 架构，并推广到多头注意力、Vision Transformer 和卷积 Transformer。
「研究」频道最新
- 陶哲轩新论文：AI 时代数学的稀缺资源从找证明转向理解证明 — NandoDF · 2026-09-13
- Raji 呼吁为前沿 AI 审计生态重写「谁审计审计者」 — rajiinio · 2026-09-13
- 前沿 AI 监督缺方法不只缺机构,学者征集协作方向 — timrudner · 2026-09-13
- NVIDIA 官方拆解 Nemotron 后训练全流程，工具链全部开源 — NVIDIA Developer · 2026-09-13
- 学者设 750 欧代码悬赏,GPT 上线后每天收到多条 bug 报告 — Singularitarian · 2026-09-13
- 递归循环 Transformer RLT 开源：潜空间推理实现无限深度 — inductionheads · 2026-09-13