别再让 LLM 生成工具调用 JSON:决策引擎管选择,框架管序列化
Longjumping-Elk-7756 · reddit · 2026-09-23
作者提出一种 agent 工具调用架构的反转思路:harness(如 OpenCode、Hermes)本已掌握每个工具的 JSON schema,却仍让 LLM 重新生成完整调用,徒增拼错和幻觉空间。替代方案是把职责拆开——
- 抽取型参数:harness 从状态/工具结果中确定性地抽取候选(如文件路径 F0/F1/F2),由决策引擎只回答「选哪个」,harness 自己构造最终 JSON;
- 生成型参数(新查询、新代码):才回退到生成式 LLM。
作者用基于 logit 的快速决策引擎(JEV)做了本地原型:在 RTX 3090 上用 vLLM prefix caching,对约 3.7k token 共享上下文执行约 100 次微决策仅需约 0.7 秒。这样 agent 循环可变成「JEV→工具→JEV→工具→深度推理 LLM→…」,生成式 LLM 退居「推理协处理器」,只在真正需要推理/生成时被调用。作者征询 agent harness 开发者对这一架构分工的看法。
「编程与Agent」频道最新
- 用 DORA 指标衡量 AI 编程代理：从 PR 到合并的效率观察 — vincent_koc · 2026-09-23
- AI 浏览器 Strawberry 实测：把代理装进浏览器替代多标签协作 — damienghader · 2026-09-23
- Opus 5.5 实测：延迟与吞吐出色，重回编码主力 — rachittshah · 2026-09-23
- DHH:Omarchy 插件数破 4000,Agentic OS 生态成型 — AIFlow_ML · 2026-09-23
- AI 智能体玩王国经营游戏,竟学会饿死国民往外推难民 — Typical-Pollution327 · 2026-09-23
- 用户实测:Claude Code 审 PR 比写代码更惊艳 — JasonBotterill · 2026-09-23