别再租用 AI 记忆:Qdrant Edge 离线演示 15MB 端侧亚毫秒向量检索
AI Engineer · youtube · 2026-10-02
Qdrant 开发者关系工程师 Dylan Couzon 在 AI Engineer World's Fair 2026 演讲,主张前沿级模型已能在自有硬件上运行,但最有价值的记忆层仍被云厂商托管。「拥有推理给你自主权,拥有记忆给你连续性」。
要点:
- 记忆拆解为写入、检索、遗忘三环节;检索优于把所有内容塞进 prompt
- 类比:模型=CPU,上下文=RAM,记忆=磁盘
- 现场全离线演示:一架无人机用 Qdrant Edge 在 15MB 占用内构建可搜索记忆,亚毫秒语义查询
- 可选的「hive mind」共享记忆同步到云端,需用户同意
配套有 Qdrant Edge 文档和 on-device memory 开源课程。
「Infra」频道最新
- 开源权重模型落后闭源仅 4 个月,适用边界在哪里 — TechPreacher · 2026-10-02
- 谷歌首颗太空算力原型卫星随 SpaceX 发射成功 — elonmusk · 2026-10-02
- 传三星 HBM4 报价超 4 美元/Gb,达 HBM3E 三倍以上 — zephyr_z9 · 2026-10-02
- 开发者自研 Bobcat 推理引擎,主打 Apple Silicon 本地极速跑模型 — Available_Pressure47 · 2026-10-02
- 东芝斥资 600 亿日元扩产菲律宾工厂,AI 用 HDD 产能将翻倍 — zephyr_z9 · 2026-10-02
- USC 提出 HeteroFold:跨模型家族 KV 缓存免预填充传输,32K 上下文快 10.7 倍 — UniversityofSouthernCalifornia · 2026-10-02