EPFL 等提出 Library of Layers:推理时动态排序 Transformer 层
Abdellah Rahmani · hf · 2026-11-03
EPFL、马里兰大学、NYU、哥伦比亚大学团队提出 Library of Layers（LoL）：不同于现有 LLM 固定层执行顺序，LoL 在推理时动态排列 Transformer 层以适配具体任务。架构只有一个超参数——全局层库的大小，可无缝过渡到参数复用与稀疏化，把 dense、depth-recurrent、MoE 三类架构的参数/FLOPs 效率权衡统一到一个家族。文本预训练上与三类基线性能相当；在合成数独和迷宫数据上，模型用不同的层排序实现不同解题策略，且可通过干预路由强制模型采用特定策略；多语言与安全设置下展示了可解释的路由行为。
「研究」频道最新
- 在 LLM 内部模拟 GPU 训练神经网络：XOR 任务 40 步从 53% 到 98.8% — zeeshanp_ · 2026-11-03
- QLink 核心洞察：一个模型的 store 就是对另一个模型的合法内存写 — zeeshanp_ · 2026-11-03
- 4 个 QwenGPU 集合通信结果与真实 NCCL 逐位一致 — zeeshanp_ · 2026-11-03
- 神操作：把 GPU 编译进 Qwen 权重，用模型解码跑 CUDA 内核 — zeeshanp_ · 2026-11-03
- BLAIR 基准评测 11 个 LLM 做推荐编码器,并开源 571M 条亚马逊评论数据集 — burkov · 2026-11-03
- UT Austin 等五校联合发布 LLM 驱动的智能体图形学综述 — UTEXAS · 2026-11-03