Transformer 对数深度并行计算证明被指存在漏洞

Sanford、Hsu 与 Telgarsky 的 ICML 2024 论文《Transformers, Parallel Computation, and Logarithmic Depth》证明 Transformer 仅需对数深度即可高效模拟并行计算，但有读者指出其 MPC 模拟中的 MLP 内部规模问题：MLP 规模未被计入复杂度上界。由此引发架构层面的讨论，即在多项式规模 MLP 的设定下，Transformer 相对 RNN 是否仍具层数优势存疑。

2026-09-21 ~ 2026-09-21 · 3 条相关

• 变换器并行计算论文被指漏洞：MLP 规模未被计入复杂度上界 — kfountou · 2026-09-21
• ICML 论文证明对数深度即可让 Transformer 高效模拟并行计算 — kfountou · 2026-09-21
• 多项式规模 MLP 下，Transformer 层数优势是否仍胜 RNN 存疑 — kfountou · 2026-09-21