模型每周悄悄漂移：开发者开源配对式 prompt 评测工具
gael55x · reddit · 2026-11-07
开发者 gael55x 指出常见误区：新 prompt 得分更高不代表真的更好——模型本身在后台漂移。Stanford/Berkeley 研究者 2023 年 3 月与 6 月用同一批问题测 GPT-4，质数识别准确率从 84% 跌到 51%，prompt 一字未改。于是他开源了 promptcheckup：
- 配对比较：同一批输入上背靠背跑新旧 prompt，输出「更好/更差/还不确定」加 95% 置信区间；背景漂移因同输入而被抵消。
- 模拟验证：在每周漂移模拟下，常规周对周比较有 41% 概率选错（选了更差的 prompt），配对版 2000 次模拟零失误。
- 可入 CI：退出码 0/1/2 对应更好/更差/无法判断，坏 prompt 可直接让构建失败；支持自定义评分或 LLM judge，judge 先自检，不稳定时返回「不确定」而非假答案。
- 零依赖：纯 Python 标准库，仓库提供无需 API key 的 demo 命令。
作者也坦承局限：小的改进需要大量测试用例才能检出，且无法修复有偏样本。
「编程与Agent」频道最新
- TLAPS-Bench 用 AI 形式化验证发现 SlateDB WAL 读一致性 bug — tianyin_xu · 2026-11-07
- Vincent Koc：团队每人应 BYOA，别再造 agent 的代理 UI 层 — vincent_koc · 2026-11-07
- 前 Dropbox 工程师：抛弃 Linear/Notion，用一个 md 文件管理 agent 工作流 — vincent_koc · 2026-11-07
- 文档审查员自建 AI agent 被管理层看中，担心背锅求建议 — Southern-Ad6451 · 2026-11-07
- ako.tools 推出 MCP 服务器，直接在 Claude 里查 AI 聊天机器人是否推荐你的产品 — ntkris89 · 2026-11-07
- Ai2 开源 olmOCR：百万页 PDF 转 Markdown 不到 200 美元 — thisguyknowsai · 2026-11-07