用 15ms CPU 编码器替代 LLM 做路由:encoders+conformal prediction 工作坊

camerongreen95 · reddit · 2026-10-22

作者指出几乎所有 LLM 应用最终都有一个「分类/路由」步骤,而它往往从一段 JSON schema prompt 演化成整条 pipeline 里最慢、最贵、还偶尔解析失败的环节。10 月 30 日的付费工作坊(由 AI 顾问、畅销书作者 Ben Auffarth 主讲)主张用小模型替代这一步:用 ModernBERT 和 LFM2.5 Encoder 做双向编码路由,CPU 推理低于 15ms;用 SetFit 每类仅 8 条样本做 few-shot 训练;用 split conformal prediction 让路由器知道何时升级到 LLM 或人工;再用 LangGraph 搭建带审批门与安全重试状态的工作流,彻底消灭路由步骤的 JSON 解析失败。提供可运行 notebook,需中级 Python。