换模型后什么会坏?开源 llm-drift-bench 自动比对输出差异
Worldly-Knowledge-90 · reddit · 2026-11-13
作者发布 llm-drift-bench v0.1.0:输入新旧模型保存的响应,自动输出具体差异,如丢失的 JSON 字段、错乱的数字、文本变动。仅基于已保存的 JSON/文本运行,无需 GPU 或 API key,方便在切换模型或降量化前快速排查回归问题。作者同时征求社区真实踩坑案例以扩充测试集。
所属事件:开源工具 llm-drift-bench 助开发者检测换模型后的输出差异(2 条相关)→
「编程与Agent」频道最新
- Nursa 会计与假释官用 AI 自建工具，160 人人都是开发者 — every · 2026-11-14
- 前 Q&A bot 负责人长文:用户不需要更多聊天机器人 — threepointone · 2026-11-14
- Nexus 发布:用知识图谱统一管理部署上下文供 Agent 查询 — rohanpaul_ai · 2026-11-14
- 从 25% 到 100%：开发者把全部 agent 工作流搬进 Mac Mini 本地跑 — josh_bickett · 2026-11-14
- 月下载 2000 万的 Mediabunny 靠 LLM 抓虫,一次发布 400 项修复 — Vjeux · 2026-11-14
- 截图曝光 Perplexity Teammates 实际工作方式：接 Datadog、读 PR、值夜班 — testingcatalog · 2026-11-14