不发一个 token 的对话 AI:从 400 条预设回复中打分挑选，成本降百倍

dwarfLevi · reddit · 2026-09-20

作者用 TypeSafe 的 Jev（非生成式、输出概率判断的模型）搭了一个「零生成」客服对话系统：不写任何回复，只从手写的 400 条预设回复中选最合适的一条。

架构四步

• 分类（约 400ms，1 次 API 调用）：并行问 Jev 18 个问题——意图（14 选项）、正式度、情绪强度、是否需转人工，以及每个意图对应的子类推测问题（speculative fan-out），只读取胜出意图的子类答案，省一次往返。
• 候选获取（0ms，纯代码）：按 bank[intent][subcategory] 结构取约 10 条候选；超过 10 条时用 Noul 的 yes/no 快筛。
• 打分（约 400ms，1 次 API 调用）：每条候选 6 维并行打分（相关性、语气匹配、帮助性、是否答问、具体性、自然度），并按上下文动态加权——高情绪时语气权重升至 30%，闲聊时自然度权重 35%。
• 输出：总分 <0.4 或意图置信度 <0.3 时回落到 Claude Haiku，否则直接返回胜者。

优势：哲学类问题效果尤其好（本质是选框架而非生成洞察）；所有文字预写故零幻觉，适合客服与品牌安全场景；意图→打分全程透明；成本约 $0.0001/条，比生成式便宜约 100 倍，端到端约 800ms。

原文链接 →

「编程与Agent」频道最新

• Agent Experience 成新议题:你的用户里已经有 Agent 了 — YvesMulkers · 2026-09-21
• Anacondahood 上线：conda 研究 + Robinhood MCP 执行 + 链上三轨交易生态 — teoliphant · 2026-09-20
• rakazo：用 Docker 在本机跑自有 AI bot，每个 bot 独立桌面与记忆 — socialwithaayan · 2026-09-20
• 15 分钟、10 美分：用 Jev 判断模型让纯视觉无人机穿越障碍赛道 — alex_verem · 2026-09-20
• Spotify 把内部编码工具乱局做成 Mac 应用 Xirp，支持 50+ 并行会话 — shashib · 2026-09-20
• Jev 上线即爆：网友用它找机票、炒币、玩马里奥，8 个玩法盘点 — alex_verem · 2026-09-20

更多「编程与Agent」频道 AI 资讯 →