VLA 记忆架构探讨:LLM 存长期史,滑窗帧管实时控制

YouJiacheng 与网友讨论 VLA(视觉-语言-动作模型)的记忆设计,主张用滑动窗口保留近期帧用于实时控制,长期历史在概念/文本层面由 LLM 维护。他算了一笔账:一张图可 tokenize 成 256 token,若给现代 LLM 的 1M 上下文分配 256k token 给视觉快照,按每分钟一张快照可容纳约 1000 张,覆盖 16 小时以上,已远超现有任何 VLM 的记忆规模,回应了「视觉 token 成本过高」的质疑。

2026-11-23 ~ 2026-11-23 · 3 条相关