研究发现：人类数据集的「签名」会沿用户模型一路污染助手评测

serinachang5 · x · 2026-10-08

作者 serinachang5 分享研究发现：随着用户模型（user models）流行，它们越来越多地基于人类数据训练和验证。但数据集的「签名」（dataset signatures）会从 HAI 数据集传播到用户模型，再传导到对 LLM 助手的评测环节，影响整条流水线上的结论。

具体来说：数据集的选择会影响用户模型的输出、对用户模型质量的评测，以及用户模型如何评判 LLM 助手。作者呼吁批判性思考用户模型从人类数据集中继承了什么，以及这些偏差将如何影响下一代 LLM 助手。