对比 AI 系统前先过七问清单：数据、污染、指标到独立性核查

goyalshaliniuk · x · 2026-10-08

作者总结了一套对比两个 AI 系统前的「基准测试检查清单」，按顺序追问七个问题：测的是什么（What）→ 数据来源（Data）→ 数据是否污染了训练集（Contamination）→ 指标是否合理（Metric）→ 结果是否反映现实（Reality）→ 可否复现（Reproducibility）→ 由谁运行和报告（Independence）。最后一点强调要问谁创建了基准、谁评估了模型、结果是否经过独立验证、失败案例是否与成功一起披露。核心观点：基准的价值不在于产出大数字，而在于你理解这个数字到底代表什么。