新架构 LoL 让模型在运行时重排自己的前向传播,像程序员一样组合基本组件

micahgoldblum · x · 2026-11-04

micahgoldblum 发布 11 推长线程介绍其研究:程序员能用同样几个基本原语按不同顺序组合出截然不同的算法,但 LLM 不行——每个输入都以相同顺序经过相同的层。团队据此构建了可在运行时动态重排自身前向传播的模型 LoL(Layers of Loops),让网络根据输入自适应选择计算路径。线程还展示:在混合安全/不安全网络文本上训练(未给标签)后,对路由器输出做线性探针能以最高 0.95 AUROC 区分安全与不安全文本,说明路由本身是模型所处理内容的紧凑读出;且灵活性不牺牲性能。