StreamEmbed:端侧实时索引屏幕历史,比截图编码快 3.7 倍

shangbinfeng · x · 2026-11-20

研究人员发布 StreamEmbed,一套完全在本地设备上运行的屏幕历史实时视觉索引方案,可让你直接用自然语言找回「上周看过的那张粉蓝 Pareto 曲线论文」。

延迟-精度两难:OCR 文本索引快但丢失仅存在于像素中的信息;全截图索引准但笔记本 GPU 上每张要 2.3 秒。StreamEmbed 两者兼得:同精度下比全截图编码快最高 3.7 倍,Recall@10 比 OCR 高 6.3。

核心思路:屏幕画面很少变化,通常只有少数区块不同——因此通过时间 + 空间 token 剪枝跳过重复区块,减少冗余编码,从最小的编码中榨取最多信息。配图为 SME-H1/H2/Agent 三组基准上 StreamEmbed 相对 SigLIP2、Qwen3 系列等基线的延迟-召回前沿曲线。工具现已可安装,能查询自己的电脑使用历史。

所属事件:Berkeley 等团队开源 StreamEmbed,本地索引屏幕历史提速 3.7 倍(4 条相关)→

原文链接 →

「编程与Agent」频道最新

更多「编程与Agent」频道 AI 资讯 →