机器人长上下文可扩到 8k 步

ihorbeaver · x · 2026-07-18

作者转述一项关于 RoboTTT 的工作：长时序视觉-运动上下文对机器人 foundation model 很关键，但朴素加入上下文会显著增加机器人推理时间，无法扩展到很长的时间跨度。

该方法通过把 Test-Time-Training 融入 foundation model，将上下文保存到可在推理时常数时间更新的 fast weights 中，从而把上下文规模扩展到最多 8k timesteps，而推理开销没有明显增加。作者认为这可能会很适合加入 MicroFactory 栈。