学者反思 AI 评测局限：无法触及前沿模型

sethlazar · x · 2026-08-01

针对近期引发争议的 AI 评测报告，作者解释了在 Codex 测试框架中保留 sol 模型而排除 fable 等模型的原因，主要是出于对后者能力可能被「阉割」的担忧。

他指出，当研究人员无法直接获取当下最前沿的模型时，很难准确预判和追踪 AI 的实际发展轨迹。他强调，构建严谨的评测方法论核心在于让宽泛的论断变得精确且可测试，而不是对模型的能力边界下定论。因此，不应从单次实验中过度推导出普遍性的结论。