评估工程研究者预告主观任务 eval 指南，附全套参考资源清单

cwolferesearch · x · 2026-10-20

评估工程研究者（cwolferesearch）预告将于明早发布一篇博客，给出在主观/开放式任务上搭建评估（evals）的详细路线图，并涵盖多种降低噪声、提升评估置信度的统计与机器学习技巧。

他还附上自己反复回看的一批参考资源，涵盖：高质量人类数据、人类评估指南、LLM-as-a-Judge 核心概念与实践指南与最佳实践、基于 rubric 的评判（分别面向 RL 和 eval）、LLM 评估的统计方法、为评估结果加误差线，以及 benchmark 的解剖等。