用 GEPA 把 Prompt 砍掉 51%:OutRival 的省钱工作流全解析
AI Engineer · youtube · 2026-10-14
OutRival 的 Alvin Pane 在 AI Engineer 演讲中分享了一套系统性 token 优化方法。核心洞察是:一个更便宜的候选模型与生产模型有 18% 的分歧,先别急着否——因为生产模型与自身重复运行的分歧率也有约 7%,单纯模型间一致性不是可靠的质量指标。
他的工作流分几步:
- 先做可观测性:记录 prompt 版本、模型选择、token 数、延迟和成本,再动手优化
- Prefix caching 消除重复计算
- 用 DSPy 和 GEPA 自动搜索更短的指令,保持接口与评分契约不变,示例 prompt 缩减 51%
- Shadow evaluation 三方对比:生产模型自比、候选模型自比、两系统同题对比,避免小模型过拟合窄基准
- 人工审查分歧样本,配合配对置信区间作为发布标准,并单独检查关键客户类别,防止平均数掩盖局部退化
演讲中的 HarborBite 示例是大型指令 prompt 的合成代理,用于展示机制而非已实现的百万美元节省。最后的建议是上线后持续测量:省 token 只有在系统持续完成任务时才有意义。
「编程与Agent」频道最新
- YC 系 Mireye 推出土地数据 API+MCP，覆盖 1.6 亿地块 — ycombinator · 2026-10-23
- 实测 12 套决策系统：分类器换版的「LARP 式炒作」陷阱 — KlausCodes · 2026-10-23
- 「给 agent 用的 Product Hunt」上线:按真实调用排出的工具榜 — claudeai · 2026-10-23
- 个人智能体元年：OpenClaw 走红到大厂集体入场的一年 — sujingshen · 2026-10-23
- Shopify 内部 Slack bot River 不擅长移动开发,员工做内部广告说服工程师 — jevon · 2026-10-23
- 梗图：AI vibe coding 与老虎机的对应关系逐条拆解 — burny_tech · 2026-10-23