EMNLP 论文提出 CAP 指标:8 类语义正确性评估开放式 QA
preslav_nakov · x · 2026-10-26
EMNLP 2026 Findings 论文《How Correct Is Your Answer?》针对开放式问答评估的痛点:自由格式的答案正确与否不是二元的,答案可能部分正确、冗长但正确、或混入编造事实,现有基于判断和相似度的指标抹平了这些差异。
论文的三项贡献:
- 8 级语义正确性分类:从 Exact、Equivalent、Alternative-correct、Overinclusive-valid、Partial、Overinclusive-invalid、Invalid 到 Contradictory,并要求指标满足单调性(更正确的类得分更高)。
- 两个数据集:CAP-Correctness(8.8k 样本,1.6k 人工标注,人机一致性 κ=0.779)与 CAP-Statements(11k 问答转陈述句样本,用于 NLI 训练)。
- CAP 指标(Context-Aware Precision):用双向 NLI 对问题条件化的陈述打分。在单调性协议下,CAP 达到 77.70,显著优于 BERTScore(56.18)、COMET、METEOR、BLEU 等基线——现有评估器普遍无法保持语义正确性的排序。
作者团队来自 Sofia University、ETH Zürich 与 MBZUAI,论文代码与数据已开源。
「研究」频道最新
- 算力无穷能否精确模拟生物?AI 圈争论实验的必要性 — cjmaddison · 2026-10-26
- 研究:主流 LLM 集体偏爱日本,SFT 是偏见源头 — alex_verem · 2026-10-26
- Top-b 采样法:用香农熵动态调采样范围,GSM8K 方差降近 10 倍 — cneuralnetwork · 2026-10-26
- MathDB 上线:面向 AI 辅助数学研究的开放论文与评论平台 — lpachter · 2026-10-26
- EMNLP 论文:LLM 生成的 Web 应用仅 11.7% 通过行为契约基准 — algo_diver · 2026-10-26
- Claude 无人干预跑53小时,8个量子难题7个胜过人类设计 — FinanceYF5 · 2026-10-26