小 transformer 只看局部轨迹,竟外推出混沌系统的倍周期级联与 Feigenbaum 常数
LMU · hf · 2026-10-02
LMU 团队研究自回归 transformer 能否从局部观测恢复动力系统的全局组织。模型在若干非线性系统(logistic/sine 映射、Lorenz 系统、广义 Hopf 系统)的受限参数区间轨迹上从零训练,控制参数与状态轨迹以连续 token 序列表示。
- 在训练分布外很远的参数下做闭环评估,模型能以惊人的视觉与数值保真度重现自相似倍周期级联、混沌动力学与吸引子结构;
- logistic map 上 transformer 重现到周期 128 的逐次倍增,有限阶标度比 4.6687,与 Feigenbaum 常数误差在 5×10⁻⁴ 内;
- 通过训练过程观察与因果干预,揭示了控制参数信息如何经注意力进入状态预测并塑形闭环动力学。
结论:对系统局部行为相当窄的观测窗口,可能足以让自回归 transformer 泛化到未见过的全局动力学组织。
「研究」频道最新
- HIDE 基准揭示:机器人操作策略普遍缺乏部分可观测下的记忆能力 — Yansong Shi · 2026-10-02
- InterEvolve:用测试时奖励程序进化让人形机器人零重训学新任务 — UIUC-CS · 2026-10-02
- 研究:用更小模型生成 rejected 样本,7B-72B 学生模型训练效果反而更强 — LinkedIn · 2026-10-02
- USC 提出 HeteroFold:跨模型家族 KV 缓存免预填充传输,32K 上下文快 10.7 倍 — UniversityofSouthernCalifornia · 2026-10-02
- Nature 封面：630 万核测序绘制人类前额叶最大基因活动图谱 — jiqizhixin · 2026-10-02
- 1.3微秒CPU检测幻觉：120B大模型反而集体自信胡编 — More_Slide5739 · 2026-10-02