小模型上生产的三种模式:前置分流、大模型委派与专用技能
kalyan_kpl · x · 2026-09-05
AI/ML 工程师 kalyankpl 总结了在真实生产系统中使用小语言模型(SLM)的三种模式,出发点是:LLM 强大但成本高,不适合承担全部请求,而 SLM 高效且效果可比。
- Option 1: Handoff(小模型先答):小模型把守入口,能答的直接回答,超出能力范围时通过一次显式 tool call 交接给前沿模型继续对话。这是最容易想到的模式,因为它直接插在已有调用前面。
- Option 2: Skill(大模型委派):前沿模型始终留在主循环里负责规划与决策,遇到窄任务时把小模型当作工具调用,并用严格的输出契约约束结果。
- Option 3(原文被截断):帖子只完整展开了前两种模式,第三种未在可见内容中给出。
「编程与Agent」频道最新
- Ponytail 仓星标 12.6 万：让 AI 智能体像最懒的资深工程师写代码 — TheMoonMidas · 2026-09-05
- 微软发布 Project Zenith：64GB 统一内存开发者设备的开箱即编码 Windows — luisdans · 2026-09-05
- Agent 互读内容即注入面:开发者自建公共留言板实测防护模式 — Coloradokid69420 · 2026-09-05
- 代理商把第 6 个客户网站从 WordPress 迁往 Lovable — MyCreativeOwls · 2026-09-05
- intercept-mcp 开源:用 9 层回退策略把任意网页抓成干净 Markdown — modelcontextprotocol · 2026-09-05
- Data Compliance Classifier MCP:存储前自动识别 GDPR/HIPAA 等合规风险 — modelcontextprotocol · 2026-09-05