DAGFormer:用拓扑预测器全局规划 Transformer 跨层连接,降低困惑度
AI-Interpretability-illinois · hf · 2026-10-19
伊利诺伊团队的论文提出 DAGFormer,改进 Transformer 效率:不再让每层固定读取上一层,而是用一个联合训练的 2 层因果 Transformer「拓扑预测器」,根据输入逐 token 规划 Q/K/V/residual 的跨层连接(DAG 结构),全局规划读取来源。在 75M、300M、1B 三个规模上,规划拓扑加 refinement 的变体均降低语言建模困惑度并提升下游任务表现,还提供交互式可视化展示训练后的连接图。
「研究」频道最新
- arXiv 原文:Beyond Downstream QA,FEB-30 记忆基准直查存储内容 — rohanpaul_ai · 2026-10-19
- 亚马逊论文:仅靠 QA 评测会漏判 Agent 记忆故障,两套打分差 16.8 分 — rohanpaul_ai · 2026-10-19
- 新基准用持续滴答的时钟考核智能体,无需域内演示 — ccloy · 2026-10-19
- 把「实验可验证性」做成逻辑原语，团队征集希尔伯特第六问题合作者 — CatAstro_Piyush · 2026-10-19
- Dream2Discern:自造困难样本预测多智能体系统运行时失败 — RutgersU · 2026-10-19
- 复旦等发布 BridgeWAM:桥接查询解耦视频与动作专家,推理提速 2.47 倍 — Fudan-University · 2026-10-19