图解循环结构：从 Amari-Hopfield 网络一直讲到 GPT-6 Astra
gklambauer · x · 2026-09-21
Johannes Kepler 大学研究者 Günter Klambauer 发布博客《The Illustrated Recurrence》，用 17 张展开计算图系统梳理神经网络中「循环」的谱系——从 1970 年代的 Amari-Hopfield 网络一路讲到传闻中的 GPT-6 Astra。
分类框架：按「什么在重复、沿哪个轴重复」划分——
- 无循环架构（当前多数生产级 LLM 所属）
- 沿时间循环（如 RNN 类）
- 整网循环（输出返回作为输入）
- 沿深度循环（权重共享、同一层反复调用，是利用循环最充分的一类）
记号体系：相同的填充图案表示相同权重（同一层被重复绘制）；虚线框 ×T/×L 表示时间/深度上共享权重的循环；右侧紫色箭头表示输出回流为输入。
作者指出循环在机器学习中不断被「重新发明」，并注明 GPT-6 Astra 部分基于未经证实的传闻。文末指向 Schmidhuber 的大综述《Deep Learning in Neural Networks: An Overview》作为完整参考。
「模型」频道最新
- Astra 用图着色思路解数独,演示跨界推理玩法 — mariyaivasileva · 2026-09-21
- Jev 走红引热议:自训分类器难敌 Voyage 多年重排序积累 — zainhas · 2026-09-21
- Freebuff 推 8 美元/月广告补贴编程订阅:每天 15 小时 DeepSeek — gaganghotra_ · 2026-09-21
- 爆料称 Grok 4.7 今日发布:500K 上下文、多模态,定价与 4.6 持平 — realsohamparekh · 2026-09-21
- 开发者担忧:补贴退坡后 token 太贵,24/7 挂机将难以为继 — BLUECOW009 · 2026-09-21
- 模拟测试：GPT-6 Astra 多次把虚拟人推下悬崖，其他模型没有 — paul_cal · 2026-09-21