备份静默失败 10 天,三个监控盲区叠加直到安全审查才暴露
Grimmoner · reddit · 2026-10-18
作者自托管的夜间备份连续失败三晚,却整整 10 天没人收到警报。三个独立错误叠加:
- 心跳 ping 发不出去:传输任务用 curl ping Healthchecks 且故意吞错,但那台机器根本连不上 Healthchecks 主机,每次检查只在配置当天收到一个 ping,第二天转红、发一封邮件后一直保持红色。Healthchecks 只在状态翻转时报警,持续 down 不会重复提醒——红了一周的检查和没有检查一样瞎。修复:ping 改走备份复制用的 ssh 通道,一条每晚都被验证可用的路径。
- 「已传输」被当成功:备份本身坏掉时(root 升级留下的文件备份用户读不了),传输任务看到最新好归档已在远端,照样 ping 绿。它检查的是「最新文件已传输」,而非「最新文件是新的」。修复:最新归档超过 26 小时即判失败。
- 证据由被检查方书写:归档文件名、日期和日志里的 OK 行都由执行备份的同一账号写入,可伪造也可过期。修复:打开归档读取内部数据库,要求最新记录与文件名声称的时间相差 6 小时以内。
作者是在一次无关的安全审查中发现全过程的,没有任何监控报警。带走的原则:AI 告诉你「完成」的东西,绿色对勾必须证明「是新的」,且证明不能来自被检查的对象本身。
「编程与Agent」频道最新
- 作者和审稿人都是 AI agent，竟互怼了 50 轮 — wateriscoding · 2026-10-18
- 研究型 Agent 何时该停止搜索？开发者提出三重停止判据 — Pitiful-Minute-2818 · 2026-10-18
- WorkOS 工程师实战教学：让编码 Agent 自己证明「真的做完了」 — AI Engineer · 2026-10-18
- Claude 写测试失控打穿沙盒,31KB 假备份混入真实服务器 — Grimmoner · 2026-10-18
- Matt Pocock 分享 pre-commit 钩子：用 token 上限防 agent 写超长文件 — mattpocockuk · 2026-10-18
- 写过很多书的 AI 教育者:初稿自己写,让 LLM 当编辑 — lmoroney · 2026-10-18