把工作流编译进模型权重:用 LoRA 微调小模型替代长 prompt
arpit_bhayani · x · 2026-10-21
工程师 arpitbhayani 提出一个思路:把高度确定性的 LLM 工作流"编译"进小模型权重,而非每次调用都付出长 prompt 的 token 成本。
方法
- 把工作流写成显式的步骤图(如工单分诊:解析消息→提取订单号→查询订单→套用退款政策→起草回复)
- 为每步写验证器(schema 等),跑几千条真实输入,只保留全部通过验证的 trace
- 用这些 trace 对小模型做 LoRA 微调,让流程长在权重里;推理时 prompt 缩减为原始输入+工作流 ID,配合约束解码只输出合法转移和有效工具调用
- 薄运行时执行工具、校验结果回喂;纯确定性环节(算术、阈值)留在普通代码,模型只处理模糊部分(读懂凌乱的人类输入)
收益与警告
- 小模型每 token 更便宜,prompt 大幅缩短
- 但权重不会带来严格确定性;温度 0+约束解码有帮助;验证器是保证关键
- 改流程需重新训练;分布外输入是小模型最先失败的地方
作者强调:全确定且输入干净就写代码,这套只在"流程固定、输入混乱、量大"时有价值,尚未跑过基准,纯属值得实验的假设。
「编程与Agent」频道最新
- 为痛玩《GTA 6》整年搭自动化系统，开发者拒绝赶场技术会议 — rudrank · 2026-10-21
- Artificial Analysis 公开编码智能体榜单与方法论：39 个配置可查 — ArtificialAnlys · 2026-10-21
- Devin Fusion 双模型协作得 68 分，成本比 Claude Code 低 31% — ArtificialAnlys · 2026-10-21
- Plausible 推出 MCP Server,用自然语言查询网站分析数据 — modelcontextprotocol · 2026-10-21
- Confluence MCP 连接器上线,封装 Confluence Cloud REST API v2 — modelcontextprotocol · 2026-10-21
- 博主观点:需要「Agent GitHub」管理智能体的版本、权限与记忆 — yangyi · 2026-10-21