40 个是非题一次前向：System 1 决策模型路由延迟仅 159ms

ThatOneSnare · reddit · 2026-11-03

Reddit 用户（开源项目 Herald/Ultimate Assistant 开发者）分享了对多个 System 1 决策端点（tev1、Jev、pplx-decider-v1.2、Liquid d1.1）与 9B LLM 在 agent 路由和工具门控上的基准测试结果。

核心发现：

问题背景：多 agent 系统中，每轮用户输入前需做多次小决策（选哪个专家 agent、是否调用 MCP 工具、是否触发后台任务提取），用生成式 LLM 做这些检查本地需约 475ms、托管 API 需 2-3 秒。
「一次 40 问」方法：不再总结 prompt 或只问单个路由问题，而是一次性问 40 个正交的是非题（5 个专家、25 个子意图、5 个会话排除、5 个承诺门控），模型返回校准的概率。
托管 API 结果：所有 40 问在单次前向传播中完成，延迟 159-319ms，每轮成本 $0.00003-$0.00006 且零输出 token；当两个专家主路由得分接近时，25 个子意图维度用纯 Python 代码平局决胜，使 LLM 回退率从约 15% 降到 0%，准确率 100%。
隐私加分：每个维度有固定代码，可只凭布尔概率重构结构化语义摘要，无需存储用户原始 prompt。
本地单卡（tev1 4.3B Q80，RTX 4070 Ti SUPER）：Ollama 按 16 路分批评估（40 问约 416ms），故路由器自动切换为「5 专家问 + 1 承诺门控」精简方案，单门控仅 27ms，未见测试集准确率 100%（56/56）；对比 qwen3.5:9b 的 LLM+词法规则方案为 93% 准确率、477ms 中位延迟。

「编程与Agent」频道最新