循环 Transformer 新构想:编码器-循环段-解码器三段式架构
letclaudiatweet · x · 2026-09-03
letclaudiatweet 提出:把所有层都循环「有点说不通」——输入映射到语义空间、语义空间映射回输出 token 的部分在首轮迭代后就是死重,应把循环段的带宽留给语法性别等以更压缩形式表征的内容。她建议改成「编码器网络 → 循环段 → 解码器网络」三段式,避免循环附近的表征带宽被挤压或出现不连续。她也自承对 looped transformer 文献了解有限,不确定充足规模是否会让这个问题消失,并表示要去读论文。
所属事件:研究者热议循环 Transformer 设计：该只循环中间层吗(3 条相关)→
「研究」频道最新
- 开源项目 Reef 让 Agent 在部署中持续自我进化权重与编排 — Scobleizer · 2026-09-03
- savvyRL:循环 Transformer 并不神奇,只是等价于加深网络 — savvyRL · 2026-09-03
- 组合两种 LoRA 训练法,相似度反超任一单独方法且收敛快四分之一 — shootthesound · 2026-09-03
- Nature 子刊五问生物医学工程师 Azizi:用可解释 AI 推进精准肿瘤学 — elhamazizi · 2026-09-03
- Broad研究所发布 science sandboxes 框架,量化 AI 智能体真实科学推理力 — anshulkundaje · 2026-09-03
- HarnessEvolve 论文：三道闸门修复自进化 Agent 三大失效模式 — dair_ai · 2026-09-03