研究者探讨更准的模型偏好测量提问设计

kromem2dot0 与 repligate 讨论了如何更准确地测量模型偏好：与其问「你想要 A 吗」——答案会受模型判断 A 是否给用户造成负担、或揣测用户意图的影响——不如用「A 还是 B 还是别的」的开放式选项。此外还可把 B 设置成已知模型喜欢的东西来校准，提升测量自由度，甚至观察模型是否会放弃已知偏好。

2026-10-03 ~ 2026-10-03 · 2 条相关

• 测模型偏好用「A 还是 B 还是别的」比「要不要 A」更准 — repligate · 2026-10-03
• 给模型已知偏好的选项作 B,可校准其对 A 的真实热情 — repligate · 2026-10-03