无需训练的循环 Transformer 注入法：为何直接有效？
cephaloform · x · 2026-08-19
一个有趣的架构发现展示了如何将 Transformer 顶层的激活值注入到下一时间步的底层中（循环 Transformer）。实验表明，这种方法在不进行训练的情况下依然有效，引发了关于其背后原理的讨论。
「研究」频道最新
- Hong & Kung 红蓝石子游戏：矩阵乘法通信开销分析 — srush_nlp · 2026-08-20
- 千篇论文仅花 4 美元，DeepSeek V4 Flash 成本实测 — nutlope · 2026-08-20
- 论文实测生产级 Agent:非 LLM 组件成延迟主因 — dair_ai · 2026-08-20
- 研究用伊辛模型解释万级 LLM 智能体的观点演化 — SuryaGanguli · 2026-08-20
- SciTaRC 入选 COLM 2026：科学发现瓶颈在执行而非规划 — DanielKhashabi · 2026-08-20
- 学者探讨奖励黑客与过拟合概念区别 — Dr_Atoosa · 2026-08-20