跳过重复像素块,截图索引快 3.7 倍,一年历史仅占 0.13GB

StreamEmbed: Real-Time Indexing from Pixels for Screenshot Retrieval

Dayoon Ko, Yichuan Wang, Soyeong Jeong, Joseph E. Gonzalez, Gunhee Kim, Sewon Min

cs.CV, cs.IR, cs.LG

2026-11-14

利用屏幕像素冗余,StreamEmbed 跳过重复块并复用缓存,索引快 3.7 倍精度不掉,一年历史仅占 0.13GB。

这篇在解决什么

把屏幕历史做成可搜索的视觉记忆,人和 computer-use agent 都用得上:上周看过的论文、填过的表单,事后能查。形态是流式检索:每 5 秒截一张屏,截图一到就编码成向量插入索引,全程在本地跑。瓶颈在编码。OCR 转文本只要 0.65 秒/张,但丢掉布局和纯像素状态,Recall@10 掉 10.1 个点;用视觉语言模型编码整张截图要 2.33 秒(M2 Pro GPU),5 秒一拍就把 GPU 占掉近半时间。微软 Recall 靠 NPU 和至少 16GB 内存硬扛,开源工具基本退回 OCR。

被忽略的事实是:屏幕变化是增量的。屏幕录像里 67-77% 的像素块与相邻块完全重复、或与上一张完全相同,自然视频只有 6-19%。既然大部分计算对象没变,逐张从头编码就是在白算。

方法

StreamEmbed 把截图当流处理,只算没出现过的内容:

所有丢不丢、算不算的决策只看像素差,不做语义判断,每张成本 0.01 秒;超参不敏感,像素容差放大 16 倍,精度最多掉 2.0 个点。

结果

评测靠自建的 ScreenMemEval:10,426 道测试题、184 小时屏幕历史,来自两个真人(Windows)和一个跑 myPCBench 的 agent(Ubuntu),每题标注可作答截图。主结果(SME-H1,微调 Qwen3-VL-2B):

方法R@10GPU 延迟/张
OCR 文本索引(同骨干微调+BM25 融合)78.60.62s
全截图索引83.42.33s
StreamEmbed82.10.66s

为什么重要

这项来自 UC Berkeley、首尔大学和 KAIST 的工作,推翻了「视觉索引做不到实时」这个前提。0.6-0.8 秒一张,意味着 MacBook 级设备能后台常驻做像素级屏幕记忆,数据不出本地,这是个人记忆类产品的硬前提。做 agent 的团队可以拿它当长期记忆的存储层:截图原样向量化留底,检索时才花算力。「像素差驱动剪枝 + 跨帧 KV 复用」也不绑定屏幕场景,监控、文档翻页这类高冗余视觉流都可能套用。单看组件都是已知思路,贡献在于证明这套组合在真实屏幕流上守得住精度和延迟,并放出公开基准。

局限与存疑

论文自己写明的近似:ViT 里未变块看不到别处的变化,LM 里未变 token 的 KV 不随前文更新,只靠周期刷新兜底。评测侧的疑问更多:问题由 LLM 从任务标注生成,不是真实用户提问;历史只有三个来源;微调数据和全部阈值都在 SME-H1 上选,agent 历史属于 out-of-domain(还好只掉 0.6 个点)。延迟只在一台 M2 Pro 上测,采样取每段录屏的前 50 张。实现上,StreamEmbed 把原版 Conv3d patch embedding 换成等价的线性实现(cosine ≥ 0.99986),对照组仍用原版,不是逐位相同的对比。另外屏幕普遍带时钟、答案常含时间,OCR 索引可能被系统性低估,论文没按问题类型拆分成绩。

术语

原文与代码

社区讨论

相关论文

全部论文解读