2026-10-03
全向量化仿真器并行跑数千条人造血管,PPO 吞吐约 19 万转换每秒,微型机器人导航策略 10 分钟内训完,零样本迁移到两类真机。
磁驱微型机器人要在血管这种狭窄、分叉、边界扭曲的环境里自主导航,深度强化学习是近几年公认可行的路线:策略吃局部观测,输出磁场方向,在线避障。瓶颈在训练速度。此前这类策略要几个小时到几天才收敛,仿真器逐环境推进,奖励又靠人工反复调。在一个每改一次设计都要上真机验证的领域,一次迭代等一天,闭环根本转不起来。
香港理工大学杨立东团队牵头,联合香港中文大学张立组、哈尔滨工业大学高会军组,在 Nature Machine Intelligence 发表的工作把这条流水线压到 10 分钟以内:一万多条人造血管环境全并行,PPO 训到收敛不到 10 分钟,一张 RTX 3060 消费级显卡就能跑完。
整套系统两条腿:全向量化仿真器,加一套分工明确的三层奖励。
仿真器把动力学、感知、可行性检查全部写成对 n 个环境的批量矩阵运算,没有逐环境循环。这在微尺度特别顺:低雷诺数下微型机器人没有惯性,速度就是 v = μ·f·(方向) + 扰动项,一次矩阵乘法同时推进几千个机器人。感知不做图像渲染,直接用 ray-casting 算虚拟 LiDAR,与可行性检查同样向量化。环境库源自一个微集群导航研究留下的 43,133 条原始样本,去掉微集群、去重后剩 14,753 条独特血管(管径变化、分叉、开放侧弯边),九成训练一成测试。正式训练配 4,096 个环境并行,吞吐约每秒 19 万 transitions。
训练用 PPO:batch 196,608、mini-batch 49,152、5 个 epoch、自适应学习率盯目标 KL 0.01。actor 和 critic 是同构的 77→256→128→16→1 ELU MLP,输出只有一个数:偏航角 γ∈[−π, π)。代码基于腿足机器人圈通行的 RSL-RL 底座。
TSR 奖励框架分三层,各管一件事:
真机部署是另一条链路:顶置相机的 OpenCV 管线(自适应阈值、按轮廓面积分类)定位机器人与障碍,策略以 45 Hz 输出偏航角,三轴正交 Helmholtz 线圈合成旋转磁场驱动。3D 场景里偏航交给策略,俯仰角由一个 PD 控制器管高度。
| 项 | 结果 |
| 仿真吞吐 | 190,000 transitions/s(4,096 环境并行) |
| 端到端训练时间 | <10 分钟(RTX 3060 实测 8–10 分钟) |
| 动作变化量(加正则,4 场景) | 降低 34.0%/33.7%/34.9%/33.7% |
| 障碍净距(加正则,4 场景) | 提升 2.1%/2.5%/2.3%/2.4% |
| 长程真机导航(6 组轨迹 × 15 次) | 成功率 100%,连续 37/31 分钟 |
奖励消融把分工拆干净了:只有稀疏任务奖励时,500 次迭代内多数设置根本不收敛;势能整形 PBRS 比直接距离整形 DRS 收敛更快,且把权重从 0.1× 拉到 10× 都稳,DRS 波动大,在 32×32 的大地图上甚至比不给整形还差。正则项几乎不影响收敛速度,但稳定改善平滑与安全。训练到 194 秒的中间检查点已能解最难的初始-目标位形。
零样本迁移是真机实验的重头:同一个策略不重训,直接跑在两类硬件上(Fe₃O₄ 包覆花粉微粒、DLP 打印的 2 mm 螺旋机器人),覆盖 DSA 造影颅内动脉的未见几何、11 个随机运动障碍、3D 人脑血管模型、2 mm/s 逆流(通道直径只有机径 2.5 倍)。长程实验里圆形通道 4 目标循环 37 分钟、分叉通道双目标往返 31 分钟,六组轨迹每组 15 次全部成功。再外挂一个 A 全局规划器,同一策略能在视网膜血管网络整图上走完全程。
腿足机器人领域在 2020 年前后靠大规模并行仿真把训练从几天压到几小时,这篇把同一套范式完整搬进了微机器人:向量化动力学、向量化感知、大规模环境库、消费级显卡,代码和血管数据集全部开放。对做 RL 系统的人,这是一份干净的参考实现;对微机器人领域,迭代周期从按天计变成按小时计,改一次奖励当天就能上真机验证。
诚实地说,单个部件没有一样是新的:并行仿真、PPO、势能整形都是现成件。这篇的价值是把它们在微尺度上调通,再用消融把每个奖励组件的职责拆清楚,这套奖励设计方法论可以直接搬到别的机器人任务上。
作者自己承认的:动力学假设低雷诺数过阻尼,惯性与复杂时变流场没有建模,血液里的长程水动力交互留给未来工作(两位审稿人都点了名,答辩的口径是扰动项能兜住,另补了逆流实验)。策略是个局部控制器,全局信息不可用时要外挂 A 分层,感受野切换目前还是手工设计。
读下来还有两处要留神。原稿宣称比已有管线快 60 倍,审稿人指出跨论文的训练时间对比不成立,修改稿把这句话删了;剩下的「10 分钟」是自家设置,横向没有可比基线。角度输出约束 [−π, π) 在切换处不连续,真机上偶发原地整圈旋转,作者写进了补充材料。真机验证仍是两个平台加若干场景,离临床血管环境还远。