System 1 agents: a method for local, reliable and fast agentic AI
Eleftherios Tzanis, Michail E. Klontzas
cs.AI
2026-11-16
编译器把工具 schema 与请求变成选择题,决策模型一次前向只点选。1952 条请求上最强配置选工具 97.0%,10888 次调用没有编造值。
临床流水线交给 agent,工具调用仍要大语言模型逐 token 写成。云端模型把请求和相关数据送出机构,与病人数据的保护规定冲突。本地小模型把数据留在现场,却会填上用户没给的值:不存在的工具、schema 里没有的参数、没说过的超参或路径。后续步骤都叠在这个结果上。
这些值大多已写在请求里,或能按单位换算等固定规则得到,或列在 schema 中。剩下的是选择。System 1 agent 只做这种判断:本地运行,一次前向在有限选项里打分,不生成文本。
agent 管流程,编译器出题,决策模型作答。模型只判断,代码按选项原样执行。
目录中每个工具加「都不是」。前两名概率相差不超过 0.3,再问谁的参数对得上请求中的值。然后用是非题看它能否完成请求,低于 0.5 就拒绝。缺必填就不猜,用参数名和 schema 说明的前 120 字拼固定提示。评测无交互,缺项记入计划。各步概率乘积低于 0.3 的拒绝线只在部署打开,评测关掉了。
编译器是确定性代码。枚举用合法取值,布尔用开、关或未提及。路径、数字和自由文本只从请求原文、固定换算(单位、文字数字、路径拼接)、schema 与上一步结果中取,外加「未给出」。列表逐项选,用过的值不可再选。列表首项、可选参数、两个参数争同一个值,概率都要达到 0.7。等于默认值的不传。没写的必填项报缺失,低于 0.5 记为不确定。
六个公开决策模型,4B 到 35B,不微调,llama.cpp 单卡,一次前向、不采样。Decider 读选项标签的对数概率;pplx-decider 用非因果注意力,取标记处隐藏状态再乘读出矩阵;OpenJev、Clef 走 systemone 接口,超过 52 个选项就分组,概率按组相乘。同一构建下分布固定,答案按哈希存档,可逐题回放。
编译器只在开发请求上改。知道标签的先知只要选项里有该值就选中,用来把漏项和选错分开。只修漏项,且只用请求怎样写值的通用规则。改动要让各模型完全正确的调用合计上升,参考请求不能掉出容忍度。测试前代码与配置已哈希。
工具共 157 个,来自 18 个 MCP 服务器。影像 42 个,含 nnU-Net、Merlin 的 CT 基础模型、PyRadiomics、TotalSegmentator、PyCaret。生物医学 115 个,含蛋白质组学 53 个、AlphaGenome 22 个、Scanpy、ClinicalTrials.gov、ChEMBL。
主评测 1,952 条:完整请求 1,645 条,写明 6,056 个参数值,另有超范围 307 条。缺必填的 174 条另评。全部 2,126 条里,123 条摘自 ReclAIm 与 mAIstro 的 notebook,其余是自写指令。对照为 9 个开源 LLM、推理开与关共 18 个设置。请求是唯一用户消息,工具走原生 function call,不执行,只评第一次调用。三个 LLM 是五个决策模型的基座。实验在一张 RTX PRO 5000(48 GB)上完成。
| 方法 | 指标 | 结果 |
| pplx-decider-27b | 选工具 / 填参 / 整单正确 | 97.0% / 97.0% / 93.9%(95% CI 92.7-94.8%) |
| OpenJev | 同上 | 96.1% / 96.1% / 92.9% |
| 六个 System 1 | 同上 | 91.7-97.0% / 89.8-97.0% / 81.4-93.9% |
| Qwen3.5-27B,推理关 | 同上 | 95.1% / 97.2% / 91.3% |
| 10,888 次 System 1 调用 | 无出处参数值 | 0 / 33,945 |
| LLM 调用 | 至少含一个编造值 | 5.5-19.7% |
| 174 条缺参做对 | System 1 / LLM | 86.2-93.7% / 至多 5.7% |
| 每条耗时、每条整单能耗 | OpenJev / 最佳 LLM | 2.6 秒、0.228 Wh / 4.5 秒、0.413 Wh |
整单正确的 108 组比较经 Holm 校正后,System 1 显著领先 73 组,LLM 领先 11 组,24 组无差异。11 组 LLM 胜利都落在最弱的两个 System 1 上。pplx-decider-27b 领先全部 18 个 LLM 设置。选工具是 76 组对 5 组。填参是 46、19、43 组打平,五个 LLM 与最强 System 1 无显著差异。两个 pplx-decider 比自身基座当 agent 高 2.6 至 9.6 个百分点;decider-35b-a3b 不如开着推理的基座。参数多的影像工具上 System 1 领先更多,ClinicalTrials.gov 与 ChEMBL 上 LLM 填值更好。
System 1 拒绝超范围请求的 87.0% 至 94.5%,空放完整请求只有 1.0% 至 3.3%。LLM 拒绝率 41.4% 至 97.4%,拒绝最多的两个把 24.3% 和 36.5% 的完整请求也空掉。LLM 没调用过目录外的工具,但 9 个里有 3 个用了 schema 外的参数名,每个设置 19 至 53 次。推理没有去掉编造。最准的 LLM 仍在 27.6% 的缺参请求里编造必填值,至多 62.1% 的缺参请求被编上造出的值,或直接不调用。
每条整单正确的显卡能耗,System 1 为 0.072 至 0.407 Wh,开推理 LLM 为 0.198 至 2.481 Wh,关推理为 0.080 至 0.853 Wh。每条约 12 个问题、零生成 token;LLM 关推理写出 123 至 340 token,开推理 417 至 952。时延 1.2 至 10.1 秒,开推理 LLM 为 2.6 至 26.1 秒,关推理低至 1.1 秒。Qwen3.5-35B-A3B 开推理比 OpenJev 更省电。搜索文本改为精确匹配,324 组比较不变;模型名改用 PyCaret 名字表,只有 1 组失去显著优势。各 LLM 取自己更好的推理开关后,54 组里 System 1 仍领先 33 组,LLM 领先 8 组。123 条发表原文上,System 1 的平均选工具和填参不低于任一推理模式的 LLM。回放存档可重建 12,756 条 System 1 记录。
云端模型让数据出域,本地模型让编造值静默进入下一步。System 1 只点选:工具名出自目录,参数名出自 schema,参数值出自请求、schema 或既定策略。每次决策带概率,存档可以逐题回放。
框架开源,决策模型不微调,MCP 工具按服务器给出的名称、说明和 schema 接入。请求没写的必填值会停下来问。精度是小幅领先,整单正确 93.9% 对 91.3%,填参上最好的 LLM 还高 0.2 个百分点。缺参请求上 System 1 为 86.2% 至 93.7%,LLM 至多 5.7%。
有出处的选项里仍会选错工具,或把请求里写过的值放进错误参数。10,888 次里有 22 次,值来自请求,形式却过不了 schema 的类型或 pattern。选项进模型前先做 schema 校验就能去掉这 22 次,这项校验没有做。有出处的标准偏宽:请求任意位置出现过的字符串都算,编造因此被低估。每个 System 1 还有 2 至 6 次,用请求里的另一个值填上缺失必填项。未指定输出目录时按既定策略填入,该值不计入编造。
超范围里最难的一类,是工具能做这件事、但输入模态不对,所有 agent 都吃亏。自写提示 2,003 条,发表原文只有 123 条。LLM 的工具没有执行,只看第一次调用。多步只保留上一步结果的前 1,200 字,长链没有单独数字。评测关闭了乘积 0.3 的拒绝线。编译器规则对着开发请求迭代,虽要求通用且测试前做了哈希,仍可能记住这 157 个工具的写法。decider-35b-a3b 的 System 1 不如开推理的基座,换决策模型不一定更好。