数据说话：路由和安全分类用决策模型，中位速度快 7-8 倍

randal_olson · x · 2026-10-16

Randal Olson 基于 Artificial Analysis Decision Index 的分任务数据提出实践建议：路由、分诊和内容审核用决策模型（decision model），把 LLM 留给需要知识和推理的请求，多数产品最优方案是两者混用。

配图数据支持这一结论：在安全分类和工具调用路由任务上，决策模型与 LLM 准确率相当，但速度上所有决策模型都快于所有被测 LLM——安全分类中位数快 7 倍、工具路由快 8 倍；而在知识问答（LLM 高 30 分）和困难推理 HLE（高 19 分）上 LLM 明显占优。