LoL 论文：让 Transformer 推理时动态重排层顺序，性能相当且可控
LotfiSanae · x · 2026-11-08
EPFL、马里兰、NYU、哥大等机构的研究者提出 Library of Layers（LoL） 架构：模型推理时不再按固定顺序执行层，而是从共享的 transformer block 池中动态排序组合来解题。
要点：
- 只有单一超参数（全局层库大小），可在稠密、深度递归、MoE 等架构家族间平滑迁移，统一参数效率与 FLOPs 效率的权衡
- 文本预训练成绩与上述基线相当；在合成数独与迷宫任务上，模型会对不同问题采用不同的层排序策略，还可干预路由强制模型使用特定解法
- 多语言场景下，LoL 会按语言和文字选择不同的层顺序模式
- 用安全数据训练后，对路由输出拟合探针能以高 AUROC 区分安全/不安全文本，为动态组合计算图的模型提供了可控性与安全过滤路径
「研究」频道最新
- 追踪模型内部隐空间轨迹,可免训练预测推理答案正确性 — burkov · 2026-11-08
- Aaronson-Ambainis 猜想据称已被证明，专家忙着澄清误读 — skdh · 2026-11-08
- MIT 与哈佛团队发布 T-WLA：触觉修正视觉策略，MPJPE 降 30% — ceciletamura · 2026-11-08
- 本地部署开源 LLM 提取 13 万份病历数据,准确率达 97.5% 超人工 — DrDatta_AIIMS · 2026-11-08
- 研究者提议「权重空间推理」：用激活空间直读模型隐藏意图 — srishti_gureja · 2026-11-08
- LiveFoley:单 GPU 156ms 延迟实时为视频生成音效 — victor_explore · 2026-11-08