Xue Fuzhao 谈 Loop Transformer：想法廉价，执行力才是 AGI 之路
XueFz · x · 2026-09-02
曾研究 loop transformer 的 Xue Fuzhao 分享了自己的工作：Looped MoE Transformer（Go Wider Instead of Deeper，arXiv 2107.11817）与循环模型的数据效率优势。WideNet 沿深度做参数共享、沿宽度用 MoE 替换 FFN，在 ImageNet-1K 上以 0.72 倍可训练参数超过 ViT 1.5%，用 0.13 倍参数超过 ViT-MoE 2.1%。但他坦言这些想法「明显且廉价」，真正重要的是极其仔细、扎实的执行与深刻理解——「那才是通往 AGI 的路」。
「研究」频道最新
- NASA 与 IBM 的 AI 模型以 30 米分辨率绘制亚洲水稻地图 — anselm · 2026-09-02
- 按 LeCun 的外推定义,神经网络的一切都是外推 — burny_tech · 2026-09-02
- GPT-5.6 与耶鲁学者破解悬置 40 余年信息论猜想 — burny_tech · 2026-09-02
- 谷歌开源时间序列基础模型 TimesFM 持续走红 — google-research · 2026-09-02
- 实测 6 款开源 AI 文本检测器:4 款做不到 0.5% 误报率,改写后集体失效 — grumpyp2 · 2026-09-02
- 偏好模型筛选 AI 科研创意，世界模型获 DeepMind 研究员看好 — j_foerst · 2026-09-02