LLM 不该包办一切:System 1 模型才是路由、打分、分类的正确选择
arpit_bhayani · x · 2026-10-31
Arpit Bhayani 提出在 AI 系统中划分「System 1 / System 2」决策模型的思路:LLM 是自回归的,每个 token 都需要一次前向传播,适合推理和生成;但系统内部大多数日常决策——路由请求、动作门控、候选打分、输入分类——只需要直接预测,不需要逐 token 生成。
核心主张
- 需要直接预测(标签/分数/路由/是非判断)→ 用 System 1 模型,高吞吐低延迟
- 需要多步推理或开放式生成 → 用 System 2(LLM)
System 1 模型家族与对应任务
- Reward model:打分
- 分类器:标签与路由
- 非自回归的类型化决策
- 抽取模型:从文本提取结构化字段
结论:System 1 模型构成 AI 系统内部路由、门控、打分的「决策基础设施」,LLM 只专注真正的思考,不必成为所有环节的决策引擎。
「编程与Agent」频道最新
- 开源 Spotify MCP Server 让 Claude 直接控制你的播放列表 — modelcontextprotocol · 2026-10-31
- StudioSphere Pulse 推出免费音频分析 MCP 连接器，含 BPM 与调性识别 — modelcontextprotocol · 2026-10-31
- 独立开发者一个月造出 SteerCamp：给 agent 加控制与可视化 — pramodk73 · 2026-10-31
- GPT-6 Astra 经 MCP 在 invideo 编辑器里对话完成抠像配乐全流程 — gen_ericai · 2026-10-31
- 开发者：agent 瓶颈源于软件为人而非 agent 设计 — devenbhooshan · 2026-10-31
- Agent 一次改 40 个文件引发事故,团队靠 blast radius 工具补救 — Fickle_Excitement729 · 2026-10-31