JHU 论文：把人群间标注分歧当研究对象，让 LLM 标注在主观任务上更可信

krisgligoric · x · 2026-11-07

Johns Hopkins 的论文《Multi-Perspective LLM Annotations for Valid Analyses in Subjective Tasks》(AACL 2026)提出 Perspective-Driven Inference 方法：放弃「单一真值」假设，把不同人群（人口统计分组）的标注分布本身作为待估计量，用少量人工标注预算估计该分布。核心创新是自适应采样策略——将人工标注集中在 LLM 代理最不准确的群体上。在礼貌度与冒犯性评分任务上验证，相较均匀采样基线，对难以建模的人群有针对性提升，同时保持覆盖率。