回应循环 Transformer 之争:测试时动态计算与内省才是关键杠杆
PlisSergey · x · 2026-09-03
bobthemaster 认为,比起争论循环深度/循环 transformer 块,真正的杠杆在动态测试时计算与内部精炼,并举三例:
- MIND over Body(ICLR Oral):自内省的动态计算,仅 3 层就在 ImageNet 上超过 ResNet-50(96.62%),以极小参数开销在 SQuAD 上表现出色。
- Change of Thought:不依赖外部 token 解码突破 TC^0 上限,让注意力权重在测试时迭代收敛到不动点,准确率最高 +20%。
- Fixed-Point Self-Attention (FPSA):零额外参数,在注意力模块内部迭代 queries 和 keys。
PlisSergey 回应称,要走向自主的主权 AI,确实需要多层级的嵌套反馈与内省能力。
所属事件:循环Transformer之争：加深网络还是可变深度创新(8 条相关)→
「研究」频道最新
- 网友自组混合架构称 ARC-AGI-3 得分 15.85%,开源求审计 — LooseSwing88 · 2026-10-18
- IdeaLens 检测器声称可分辨科研论文核心创意是 AI 还是人类 — skdh · 2026-10-18
- 学者苦等期刊三年发论文,眼睁睁看别人靠预print晋升 — OdedRechavi · 2026-10-18
- TRACE 开源：8 小时单卡把 G1 控制器迁移到全尺寸人形 H2 — zhengyiluo · 2026-10-18
- 融资超30亿美元的人形机器人热背后：拆解驱动机器人的 VLA 模型 — scottleibrand · 2026-10-18
- 陶哲轩称「进入战时状态」：OpenAI 宣称求解纳维-斯托克斯问题震动数学界 — AlexTensor · 2026-10-18