吸收马尔可夫链做意图分流，<2ms零token唤醒LLM
inawhole · reddit · 2026-10-17
作者提出用吸收马尔可夫链（Absorbing Markov Chain）替代朴素余弦相似度做意图分流：余弦路由容易被表面关键词带偏（如 "Checkout payment webhook failed" 被误路由到计费域），而其方案在 768 维嵌入空间上构建 60 节点领域流形，GPU 上求解 B=(I-Q)^-1·R，不到 0.05ms 即可把查询吸收到正确领域，在唤醒 LLM 之前完成分诊。
JevBench 分层级联结果：
- Tier 0（AMC + EmbeddingGemma2）：平均 22ms，11/11 全对，100% 精度
- Tier 1（Gemma4 26B A4B）：平均 42ms，91.49% 准确率，处理 78% 的请求
- Tier 2（Gemma4 + CoT）：平均 1560ms，75.61%，处理 17% 的请求
- 4 层级联：平均 46ms（p50），总体 89.17% 准确率
短 prompt + 缓存静态候选时 Tier 0 延迟约 1.5ms。另设三道护栏：否定与语法检查、流形邻近度（OOD 检测）、熵与边界门控，用于拦截低置信路由。适合工单路由、agent 工具调用等场景，在多数查询不消耗 LLM token。
「编程与Agent」频道最新
- Vercel 推出免注册部署：拖拽文件到首页即得线上 URL — steren · 2026-10-23
- 5 个 Claude Code 会话经 MCP 互发邮件，组队攻破多品牌网络摄像头 — doodlestein · 2026-10-23
- Vercel 上线 vercel deploy --temporary,可临时部署后自动清理 — cramforce · 2026-10-23
- 用同一个 Notion 工作区让多个 Agent 互相沟通分工，实测有效 — nbaschez · 2026-10-23
- Sierra 伦敦大会被指逊色旧金山场,Agent 落地数据成稀缺话题 — DimlyDimwitted · 2026-10-23
- 开源 C-Sweet 用本地 27B 小模型模拟整家公司运营 — Demonicated · 2026-10-23