ThoughtDAG 用 Jev 给历史对话片段打分,391ms 替代 25 秒大模型判断
Lopsided_Scarcity979 · reddit · 2026-09-26
ThoughtDAG(MIT 协议、支持分支对话的工作区)作者分享了一个记忆召回实现:历史索引先取出候选对话片段,再用小模型 Jev 对片段与当前问题的相关性打分,最后由主模型生成回答,召回来源保持可见可移除。
- 在 14 条合成片段、中英双语各三次重复的固定测试中,Jev-1.13 的判断中位延迟 391ms,而带默认推理的 GLM-5.3-Flash 适配器为 24,813ms(作者强调这是不同推理路径,并非模型排名,也未证明答案质量提升)
- 作者指出关键局限:高相关的旧决策可能已过时,相关性分数不等于当前真理,因此需要来源与排除控制
「编程与Agent」频道最新
- 神秘模型 Space Bunny 看录屏 10 分钟重建整站 — PrajwalTomar_ · 2026-09-26
- 十年 AI 老兵:Agentic AI 是让 AI 安全落地的护栏与激励机制 — nicolaiwadstrom · 2026-09-26
- McKinsey Deck Skill:让 Claude 产出可编辑的咨询风 PPT — baabullah · 2026-09-26
- KoboldCpp 内置 Agent 框架发布,官方域名遭钓鱼站冒充 — HadesThrowaway · 2026-09-26
- Nace 发布 6B 决策模型 Drex,跳过生成直接输出选项概率 — rohanpaul_ai · 2026-09-26
- 团队早就在用 AI 干活了,问题是不知情:AI 运维的关键在「共享」 — beglen · 2026-09-26