AI 系统多数决策不需要 LLM 思考,System 1 小模型更划算

petrusenko_max · x · 2026-11-01

arpitbhayani 提出思考框架:LLM 自回归逐 token 生成,适合推理和生成,但 AI 系统内部大部分决策整天做的只是路由、分类、格式判断这类简单任务,用更便宜的 System 1 式模型即可,不必让 LLM「思考」。

petrusenkomax 补充关键边界:直接预测(分类器)在标签集固定时很香,但一旦标签集每周变化,改一次 prompt 就比重新训练分类器划算。核心是把「何时用小模型 vs 何时用 prompt+LLM」当作成本与变更频率的权衡。

所属事件:观点:AI 系统多数决策用 System 1 小模型更划算(2 条相关)→

原文链接 →

「编程与Agent」频道最新

更多「编程与Agent」频道 AI 资讯 →