把 Transformer 蒸馏进循环架构：固定记忆实现线性复杂度机器人记忆
chriswolfvision · x · 2026-10-06
一篇 arXiv 论文提出将经典 Transformer 蒸馏为循环 Transformer 的方法，面向长时程流式视觉与机器人应用——这类场景下存储完整观测历史的计算成本难以承受。
核心论点：循环模型性能落后并非架构限制，而是学习问题——没有完整历史时，模型每步都要显式决定记忆里保留什么，学习难度大得多。
方法：设计一个教师模型，将观测历史显式压缩为固定大小的瓶颈表示，并用该表示直接监督学生的记忆，对齐两者的压缩机制。
结果：可以训练出线性时间复杂度的循环潜在机器人记忆，性能逼近全历史 Transformer。
「具身」频道最新
- YC 机器人数据公司:红海里靠每周海量供货胜出 — paigeinsf · 2026-10-06
- 用 Flipper Zero 刷 Telink 固件，搞定 Tuya Zigbee 设备 — ngxson · 2026-10-06
- 挪威拟在部分公共场所临时禁用 AI 眼镜 — talkingatoms · 2026-10-06
- 开源 ESP32-S3 口袋语音助手：墨水屏+Hermes 任务路由 — K8s-monk · 2026-10-06
- ETH 团队 AME-2 四足步态论文被 TRO 接收,开源 G1 训练代码库 — ChongZzZhang · 2026-10-06
- 乔布斯曾斥触屏 Mac 很糟糕，16 年后苹果或将颠覆自己的判断 — Kiteaton · 2026-10-06