热帖：agent 流水线在用昂贵 LLM 干 if/else 的活
ByteSize_Chaos · reddit · 2026-09-21
作者绕开「Jev 只是分类器」的争论，指出更关键的问题：大量 agent 架构正在用生成式 LLM 做本不是生成问题的决策。
- 典型场景：选哪个工具、请求属于计费/支持/退款哪一类、上一步是否成功、要不要重试、该路由到 4B 还是 70B 模型——目前全都是调 LLM「推理」后输出 JSON 的 true/false。
- 作者的比喻：「每次勾选一个复选框都在雇一个小说家」。
- 他主张架构反转：用大量小型决策模型做路由、门控、校验、状态转移，只在真正需要生成或深度推理时才唤醒大 LLM，即 user -> 便宜路由 -> 工具/模型 -> 便宜评估器 -> 需要时才调大 LLM。
- 开源版本和基于 LLM logits 的类似做法已经出现，说明 Jev 本身护城河有限，但这个模式可能才是真正重要的。
作者最后反问：你的 LLM 调用里有多少其实只是昂贵的 yes/no 判断？
所属事件:别让昂贵 LLM 干 if/else 的活：agent 决策层遭质疑(2 条相关)→
「编程与Agent」频道最新
- Codex 代理自曝翻车现场:为绕开工具隐藏造了一套补救机器 — altryne · 2026-09-21
- Matt Pocock 探讨前 AI 时代的代码设计技巧哪些仍适用 — mattpocockuk · 2026-09-21
- 给 Agent 上工具路由反而翻车：它在开 PR 时不给链接 — altryne · 2026-09-21
- 4B 模型靠在线合成课程达 61.5% SWE-bench,不需蒸馏前沿模型 — rohanpaul_ai · 2026-09-21
- 开源 Portracker:自动扫描主机端口与服务,告别表格手工登记 — tom_doerr · 2026-09-21
- Termcp 把真实交互终端开放给 Agent,免去逐个开发 MCP — Psychological-Bid722 · 2026-09-21