VLA 记忆架构探讨:LLM 存长期史,滑窗帧管实时控制
YouJiacheng 与网友讨论 VLA(视觉-语言-动作模型)的记忆设计,主张用滑动窗口保留近期帧用于实时控制,长期历史在概念/文本层面由 LLM 维护。他算了一笔账:一张图可 tokenize 成 256 token,若给现代 LLM 的 1M 上下文分配 256k token 给视觉快照,按每分钟一张快照可容纳约 1000 张,覆盖 16 小时以上,已远超现有任何 VLM 的记忆规模,回应了「视觉 token 成本过高」的质疑。
2026-11-23 ~ 2026-11-23 · 3 条相关
- VLA 记忆架构之争:LLM 管长期历史,滑窗帧负责实时控制 — YouJiacheng · 2026-11-23
- 算了一笔账:1M 上下文可存 16 小时的每分钟视觉快照 — YouJiacheng · 2026-11-23
- YouJiacheng:16 小时视觉快照已远超现有 VLM 记忆 — YouJiacheng · 2026-11-23