小模型路由比 LLM 快 200 倍便宜 400 倍,AI 软件架构正走向分层智能
Pavan_Belagatti · x · 2026-09-29
Pavan Belagatti 梳理了 AI 时代软件构建架构的演进：
- 传统软件：依赖硬编码的条件逻辑。
- 早期 Agent 系统：走向另一个极端，把所有任务都路由给单一昂贵的前沿 LLM。
- 现在：架构转向「确定性代码维护工作流结构 + 快速专用决策模型处理窄域语义分支」。
核心思路是把「判断」当作低成本原语：这类 system-one 小模型（如 Jev）做路由比 LLM 快约 200 倍、便宜约 400 倍，只在异常情况下才升级调用完整推理模型。
作者还指出 LangGraph 这类框架提供了必要的编排层，负责状态管理、持久化执行和人机协同检查点，并与 agentic SDLC 平台结合。
「编程与Agent」频道最新
- YC 总裁 Garry Tan 力挺智能浏览器:Agent 密码管理是关键基建 — garrytan · 2026-09-29
- 开源代码评审 Agent 用 Hindsight 记住团队历史评审决定 — aryanplayz630 · 2026-09-29
- 会议准备 Agent 架构：SQLite 管状态，Hindsight 管长期记忆 — Datrika_Nandhini · 2026-09-29
- Chestnut 发布 18 自由度 Aero Hand 与配套外骨骼，人手数据采集零本体差距 — chris_j_paxton · 2026-09-29
- RubyLLM 月下载破 110 万,累计达 1300 万次 — kieranklaassen · 2026-09-29
- 用 Hindsight 把事故复盘变成可检索的排障记忆库 — nagakeerthan · 2026-09-29