专题 · FULL STORY

强化学习虚拟蠕虫:涌现神经结构后续探索

开发者 neuroecology 用深度强化学习构建虚拟蠕虫生态,蠕虫神经网络涌现出类动物神经结构;随后其与研究者讨论能否用神经科学与可解释性工具进一步分析这些虚拟动物的大脑。

2026-11-21 ~ 2026-11-21 · 2 集 · 7 条

第 1 集 · 开发者用深度强化学习造出虚拟蠕虫,涌现类动物神经结构(2026-11-21,5 条)

开发者 neuroecology 在业余时间构建了一套「虚拟动物」生态模拟系统并分多步展示了成果:每只虚拟蠕虫由独立的神经网络控制,需要从不同食物中摄取足够的蛋白质、碳水化合物和脂质,营养结构直接影响生存;器官会向神经网络发送神经调质来引导决策;蠕虫还需躲避同样自带神经网络的捕食者,并与同类互动。作者最初只训练了觅食、产卵等少数行为。

已确认

  • 系统基于深度强化学习训练,使用了 jsuarez 开发的 PufferLib 框架;neuroecology 与 jsuarez 就「用 deepRL 建模演化与社会行为」有过讨论,认为这类方法能研究其他建模方式难以触及的问题。
  • 训练后的智能体神经动力学呈现出「类动物」的神经系统结构:出现了专门负责转向的个体指令神经元(command neurons),感觉神经元也自发分化出不同功能类型。
  • 捕食者同样由神经网络驱动,形成了一个多方博弈的模拟环境。

为什么重要

  • 作者指出,即便在很简单的进化/训练设置下,神经网络在环境压力下也会自发组织出类似真实动物神经系统的结构,这为研究神经演化、行为涌现提供了低成本的可复现实验平台。
  • 该工作展示了 deepRL + PufferLib 在生物行为建模上的潜力,触及传统建模方法难以处理的问题,如营养代谢约束下的觅食策略与捕食-反捕食协同演化。

第 2 集 · 神经生态学探索:用可解释性工具审视深度强化学习虚拟动物(2026-11-21,2 条)

neuroecology 与 jsuarez 展开对话后续,提出能否将神经科学与行为可解释性的工具用于分析深度强化学习训练出的虚拟动物。由于研究者完全掌控这些 agent,可对模拟动物施加微小神经扰动——例如让它稍微不那么饿,或让某个神经元短暂强烈激活——并通过「生命模拟查看器」观察整条生命轨迹如何展开出完全不同的路径。