Cloudflare 自训小模型 Clef 做混合路由:6 次 LLM 调用降到 1 次

TheTuringPost · x · 2026-11-12

Turing Post 记录了 Cloudflare 的 Michelle Chen 在 AI Engineer 大会上讲的故事:Cloudflare 2023 年把 GPU 部署到离用户更近的位置,赌「模型会变小」,结果前沿模型越做越大;直到出现能一次前向完成决策的模型,网络距离才重新重要——但那个模型的权重是闭源的。于是 Cloudflare 决定自己训练:团队花一周争论是否要做决策模型,然后一个周末就把混合模型 Clef 训练了出来。

混合架构用「CI 排障 agent」演示,三个问题分流:

效果:同样得出诊断结论,LLM 调用从 6 次降到 1 次,token 消耗从约 40,000 降到约 1,800。作者判断「System 1 + System 2」还不是终局——agent 提出修复后,如何验证它真能预防故障,是因果方法和神经符号方法的机会。

原文链接 →

「编程与Agent」频道最新

更多「编程与Agent」频道 AI 资讯 →