StreamEmbed:利用像素冗余实现截图实时增量索引
_reachsumit · x · 2026-11-18
Berkeley/首尔大学等团队的 StreamEmbed 论文提出针对屏幕截图的增量视觉嵌入系统,让屏幕历史成为人和 agent 可搜索的视觉记忆:
- 动机:OCR 索引快但丢失视觉信息,视觉编码每张截图需 2 秒以上;而屏幕内容高度重复,大部分像素在帧内帧间不变。
- 方法:仅凭像素差异引导,结合空间 token 剪枝(跳过与邻居重复的块)与跨截图 KV 缓存复用,再用小型学习适配器补偿剪枝/复带来的损失。
- 结果:在自建基准 ScreenMemEval(184 小时屏幕历史、10,426 个问题)上,M2 Pro GPU 上编码最快提速 3.7 倍且精度不降;同延迟下比 OCR 索引 Recall@10 最高提升 6.3 个点;内存高效向量索引仅用 0.13 GB RAM 即可存一年模拟截图。
「编程与Agent」频道最新
- 蚂蚁 Repo-Premium 基准:公平评测下 BM25 可追平稠密检索 — _reachsumit · 2026-11-18
- Scoble 实测 Hy4 智能体:20 步办公任务能否一口气做完 — Scobleizer · 2026-11-18
- DetouR 让搜索 agent 顺超链接取证:2Wiki EM 平均提升 4 分 — _reachsumit · 2026-11-18
- RL 搜索 agent 竟把谎言的转写当独立信源,8 条回声推翻 58-73% 正确答案 — _reachsumit · 2026-11-18
- rust-anything:AI 把老项目改写成 Rust,最高提速 20 倍 — aigclink · 2026-11-18
- Jetriever:按有用性而非相似度给 Agent 记忆排序,金标准命中率 84.8% — _reachsumit · 2026-11-18