变换器并行计算论文被指漏洞：MLP 规模未被计入复杂度上界

kfountou · x · 2026-09-21

一位读者在研读论文《Transformers, Parallel Computation, and Logarithmic Depth》时指出：其 MPC 模拟中的 MLP 内部规模没有上界约束，被允许计算任意函数。在路由构造里，正是这种自由度让 MLP 解码器能恢复干净消息、丢弃损坏副本、去除重复——但实现通信所需的一部分工作被委托给了一个规模与计算成本均未被计入的 MLP。

作者指出，文中给出的界并不排除指数级大小的实现（尽管其特定解码器未必需要）。因此仅靠通用 MPC 模拟，并不能确立多项式规模 MLP 的高效实现，更谈不上相对 RNN 的端到端运行时优势——要下这个结论，还必须对局部 MLP 的规模与深度做出说明。论文作者明确声明了这一假设，但读者认为这一区别至关重要。