用 Codex 排障的一个真实教训
paul_cal · x · 2026-07-11
这条帖子的核心不是模型出了问题，而是一次真实的 **agent 辅助排障** 经历。 作者先观察到部署后的模型输出分布异常、反馈变差，第一反应是重新训练模型并调整采样分布，于是让 codex 去执行相关修改；但一个小时后问题仍然存在。继续排查后发现，真正的故障点并不在 ML 模型本身，而是在一个**基于规则的评分系统**里：其中另一个输入被污染了，导致整体结果异常。 作者的反思是：如果所有操作都手工完成，自己可能会在“先排除更简单原因”这一步上花更多精力；而 agent 能更快把重心拉回到更可能的根因。不过也提醒自己，这类判断失误很容易发生，本质上是“skin in the game”不足带来的优先级偏差。