Driftproof 发布首日被审计：伪造通过、6.2% 噪声误报三大问题曝光
maverick_man1111 · reddit · 2026-09-14
开发者发布 Driftproof v0.10.0——一个检测 Claude skill/CLAUDE.md 是否随模型更新而「静默退化」的工具：对同一 skill 做开关对比运行、逐次打分并写带哈希的带日期记录。
发布当天两位审计者实测，发现了三个问题：
- 可伪造通过：篡改模型回答会被拒，但只改评分笔记徽章就变绿，而警告文案还声称笔记不保存（实际保存了），工具对自己的证据给出不实陈述。
- 擅自花钱：三条 slash 命令缺少阻止 Claude 自主触发的 flag，其中一条会大量调用模型，烧的是用户订阅。
- 噪声误报 6.2%：有人用 20000 组两侧完全同分布的合成对比测试，工具报告了 1240 次「变化」，其中一半标为回归一半标为改进——全是噪声。作者承认此前把自己写的「区间」误称为置信带。
作者同步修了 slash 命令问题，并坦承 Windows 可能没测过、macOS 有 19 项检查失败。核心教训：一个检测「悄悄变化」的工具，必须能对自身做同样的事。
「编程与Agent」频道最新
- 纯 SQLite 打造编码助手持久记忆:32MB 内存毫秒级查询 — Rude_Gate7599 · 2026-09-14
- 开发者用 AI 做 15 年梦想游戏:动捕数据救了骷髅动画 — majidmanzarpour · 2026-09-14
- 纯 SQLite 打造编码助手持久记忆:32MB 内存毫秒级查询 — Organic-Drama7722 · 2026-09-14
- 下班前一条口令:让 AI 盘点当日任务并生成明日便签 — TheMoonMidas · 2026-09-14
- 让 AI 逐题追问把模糊想法变成 brief 并启动开发 — TheMoonMidas · 2026-09-14
- 提示词技巧:直接和另一个正在干活的 AI 任务对话 — TheMoonMidas · 2026-09-14