研究者挑战 latent feedback 主流做法:读深层中间层而非末层,同算力更低损失
kastnerkyle · x · 2026-11-18
- 据转述,MAI、Seed 等前沿实验室正在探索 latent feedback:把模型最后一层的隐状态融合进下一个 token 的 embedding 作为输入(即 Recycler 式结构)。
- 发帖者提出不同看法:不该读最后一个 block,而应读较深的中间 block;在相同参数量与 FLOPs 下取得更低 loss,并附结构对比图说明两种连接方式。
- 这一讨论触及 recurrent depth / 层间复用架构的设计选择,对预训练架构研究有直接参考价值。
「研究」频道最新
- 研究员:guidance 被严重低估,是弱模型的强大工具 — churchkey · 2026-11-18
- HRT1 论文录用:机器人看一条人类视频即可泛化操作 — YuXiang_IRVL · 2026-11-18
- Neuralink 获「活神经元」脑机接口专利,在大脑表层造「第零层」 — XFreeze · 2026-11-18
- GPT-6.2 Astra 经 provider adapter 在 ARC-AGI-3 拿史上首个满分 — mark_k · 2026-11-18
- AI 从走路姿态预测 1887 项健康指标,研究登 Nature Medicine — coursiv_ · 2026-11-18
- GPT 接管真实显微镜 72 小时,筛查药物数量达常规 3 倍 — anshulkundaje · 2026-11-18