Magpie 新版支持语义意图路由:按请求意图自动分配大小模型
dotey · x · 2026-09-26
Magpie 最新版引入 semantic model routing(意图路由):按用户意图自动把请求分配给不同强度的模型,强请求给强模型、闲聊给便宜模型,省成本不降质量。
工作原理
- 不用向量嵌入、不用关键词表、不需训练:由你指定的一个判断模型(建议小而快的非推理模型,如 Groq 上的 Llama 3.1 8B)读取带编号的意图列表和最新消息,回答一个数字
- 意图与长度、图片、推理、Agent 等条件并列,作为路由组规则的条件之一;每轮只在用户发言时做一次路由,Agent 工具调用过程中不再切换
- 判断模型出错/超时则所有意图不命中,按普通规则降级处理
配置方式
- 在路由组里添加规则:如 intent="writing or fixing tests" 走 DeepSeek Pro、intent="a quick question" 走 DeepSeek Flash,支持 CLI 一行命令设置(magpie group rule add ...)
- 规则从上往下匹配,第一条命中即把该模型排到首位,组内其余模型做故障转移;路由页可查看判断模型的判定与实际去向
「编程与Agent」频道最新
- 开源 Muse Code GUI 发布：150K+ 安装,可驱动多个编码 Agent — PawelHuryn · 2026-09-26
- 「Guardrails 是新框架」：AI 圈一句观点引热议 — Baconbrix · 2026-09-26
- Addy Osmani 分享 Claude Code 桌面版长会话防休眠小技巧 — addyosmani · 2026-09-26
- 开发者开源 Litmus：用个人写作样本训练专属 AI 文风检测器 — chaseleantj · 2026-09-26
- xAI 举办 Grok Bot 分享大赛,冠军可参观 SpaceX 火箭工厂 — Scobleizer · 2026-09-26
- LoRA Pilot 新界面:从首图到训练完一键对比 — no3us · 2026-09-26