EMNLP 论文:LM 改写让 75% 输出失真,更倾向把「可能」写成「是」
sameer_ · x · 2026-09-20
EMNLP 2026 主会论文《From "May" to "Is": Certainty Distortion in Language Model Rewriting》(arXiv:2606.07951)研究 LM 在改写/摘要等本应保义的任务中对「确定性程度」的扭曲。
- 提出 LM 评估指标,与人群层面的确定性判断一致,覆盖不同规模与家族的模型、科学与医学文本任务。
- 确定性扭曲影响高达 75% 的输出,且系统性不对称:多数模型提高确定性的概率是降低的 1.5–2 倍。
- 效应可随迭代复述叠加:医学领域 claude-haiku-4.5 单轮后 20% 样本确定性被提高,五轮后达 40%。
- 基于提示词的干预能减少但不能消除扭曲。对医学、科学传播等场景的忠实性有直接警示意义。
「研究」频道最新
- 开源个性化 mRNA 癌症疫苗设计:为胰腺癌患者 Yash 而做 — xennygrimmato_ · 2026-11-12
- Georgia Tech 教授 Molei Tao 招收扩散语言模型方向博士生与博后 — gautamcgoel · 2026-11-12
- HF 研究员主张用效率增益指标取代最终 benchmark 分数 — eliebakouch · 2026-11-12
- 研究者提议:AI 进展评估应报告效率增益指标,而非只看最终跑分 — eliebakouch · 2026-11-12
- RoboCap-10k 发布:1 万小时带度量动作的开放式机器人数据集 — databoydg · 2026-11-12
- Google Research 用可穿戴设备做心血管-肾-代谢风险画像与个性化健康指导 — Google Research · 2026-11-12