4B 模型记忆 2 亿网页做生成式检索,URL 查询延迟降到 10ms
Chris__Codes · reddit · 2026-11-19
Reddit 用户讨论用生成式检索(generative retrieval)替代传统向量搜索来做快速 URL 查找,解决 agent 网络搜索调用阻塞推理的问题。
- 传统搜索管线(query 解析、候选召回、重排)每次调用增加 100ms 以上延迟;直接让前沿 LLM 凭记忆写 URL 则常幻觉出死链
- 一种新思路:用 4B 模型在点击数据上训练,记忆约 2 亿网页,输出映射到真实 URL 表的两段式数字 ID,查询延迟约 10ms,仅需 10GB 显存(精确向量搜索需 400GB+)
- 局限:记忆化对热门页面效果好,长尾和新页面仍需在线索引兜底
「编程与Agent」频道最新
- Jeremy Howard 批 Gemini CLI:MCP 输出硬限 10k、目录设置不便 — jeremyphoward · 2026-11-19
- Miles Brundage 吐槽:Antigravity 企业版拿不到最新模型 — Miles_Brundage · 2026-11-19
- Thorsten Ball:团队仍把 Agent 当写码工具,而非全程工程师 — RealGeneKim · 2026-11-19
- Agent 工程新模式:用一个大管家协调所有会话正在流行 — devenbhooshan · 2026-11-19
- Reddit 求路子:300 欧元先测试可编程 AI 视频剪辑工作流 — yeah280 · 2026-11-19
- Vite 开发服务器曝严重 RCE 漏洞,官方多版本紧急修复 — film_girl · 2026-11-19