Berkeley 团队开源 StreamEmbed:屏幕历史检索提速3.7倍且全本地运行
berkeley_ai · x · 2026-11-19
UC Berkeley、首尔国立大学与 KAIST 团队发布 StreamEmbed/StreamEmbed 开源项目:每 5 秒将屏幕截图编码进本地索引,让你用自然语言找回过去看过的屏幕内容(如"我把哪款手机加进了购物车?"),全程在笔记本上运行。
核心问题:屏幕历史检索存在延迟—精度两难——OCR 文本索引快但丢失纯像素信息;全截图编码准确但单张耗时 2.3 秒(笔记本 GPU)。
方法:利用截图流的高冗余性,
- 空间冗余:相邻重复的图像块直接剪枝(spatial token pruning);
- 时间冗余:KV cache 复用,只重算变化部分,计算量减少 57–71%;
- 一个小型 adapter 保证 embedding 与全截图保持一致。
效果:单张截图耗时降至 0.6–0.8 秒;同等精度下比全截图编码快最多 3.7 倍,Recall@10 比 OCR 索引高 6.3。项目含 MCP server,可接入本地工作流,Apache-2.0 协议开源。
所属事件:Berkeley 等团队开源 StreamEmbed 屏幕历史检索系统(3 条相关)→
「编程与Agent」频道最新
- GPT 6.2 Astra 一次生成新加坡牛车水交互式 3D Web 应用 — OpenAIDevs · 2026-11-19
- 开发者预测 2027 年是"结果工程"之年:agent 从写代码到为结果负责 — hwbhatti · 2026-11-19
- Scenario 开源 Photoshop 全套 AI 插件:8 种角色覆盖完整美术流程 — aziz4ai · 2026-11-19
- LangChain 创始人:Agent 最难的是上下文,该造的是知识工厂 — hwchase17 · 2026-11-19
- 30多家硅谷公司抢夺程序员数据,两条路径全解析 — FinanceYF5 · 2026-11-19
- K3.1 Pro 在 17 项基准中 14 项胜 K3,与 Opus 5.5 搭配省一半开销 — Kimi_Moonshot · 2026-11-19