银行仓库接 AI 问答三个月复盘：模型从来不是难点
the_darkest_horse · reddit · 2026-09-19
一家东南亚零售银行委托团队给数据仓库（10 张表、858 列）做自然语言查询。第一版「schema 进 prompt + 模型写 SQL」演示能跑、两周后就开始出错：join 错、日期列过滤错、对答不了的问题自信输出。
真正让它进生产的按影响排序是三件事：
- 三候选 + 校验器：每问并行生成 3 条候选 SQL，再由独立的 verifier 调用读题、schema 和候选做选择或全部拒绝——「无法从现有表回答」在用户测试中每次都好过给出错误数字。
- 换模型的硬门禁：银行的治理规则是任何人（包括想换更便宜的）都必须附 eval run ID 和具名审批人才能换模型。团队与分析师共建 60 题 eval 集，门槛 85% 正确、中位耗时 <9 秒；当前模型达标，两个更便宜的没过——没有门禁的话其中一个就「凭感觉」上线了。
- schema 前缀 prompt 缓存：静态部分 9-11k token，缓存后单题成本降幅超过任何 prompt 改写。
银行随后要求迁到 VPC 内自托管模型，团队算账：托管 API 约 $1000/月，等量 GPU 机器 $3-9k/月外加数个工程师周做 OpenAI 兼容适配。「自托管更便宜」没能在电子表格里活下来。
「编程与Agent」频道最新
- Anthropic 产品负责人 28 分钟讲透生产环境 Agent 实战 — ifioknkem · 2026-09-20
- Teknium 质疑 Jev 压缩能力：Hermes 能把 95% 上下文摘要掉 — Teknium · 2026-09-20
- 开源项目 HarnessRouter:把 Codex、Claude Code 统一成一个 Agent API — daniel_mac8 · 2026-09-20
- HarnessRouter：不为模型而为harness做路由的新思路 — daniel_mac8 · 2026-09-20
- MCP 工具命名之争：短通用动词还是显式前缀？ — skvark · 2026-09-20
- 独立开发者的 GameToMac 上线10天，AoE4/CS2 等大作已能跑上 Mac — nickbaumann_ · 2026-09-20