Experts Rise Where LLMs Disagree: Using Cross-Model Disagreement to Target Expert Effort in LLM Codebook Revision for Large-Scale Annotation
Zeyu He, Zhuqian Zhou, Kirk Vanacore, Rene F. Kizilcec, Ting-Hao 'Kenneth' Huang
cs.CL, cs.AI, cs.HC, cs.LG
2026-09-23
六家LLM在6595条辅导话语上的标注分歧被用来定位难例。专家给120条样本写理由后,修订码本把LLM标注准确率做到64.9%,超过专家自己改了六个月的57.8%。
大规模文本标注靠一份码本(codebook)把专家判断写成规则,再交给人或模型去套。码本本身往往要改几个月。文学研究者为「上帝的作为」这类主题每周开会,改了两个学期;COVID 论文项目靠生物医学专家手工挖边角案例;CAPC-CG 把中国政府政策段落扩到 330 万段,三位专家每周各标约 500 段、对照分歧、改规则,花了三个月。
Penn State 和 Cornell 把这个问题放到一个真实的辅导对话标注项目里。两名数学教育专家用六个月、每人大约 300 小时,把 29 种辅导动作(外加 None,共 30 类)写成码本,并在 4032 条话语上达成共识。早期码本已经能让 LLM 开标。后面那几个月的专家时间,能不能用模型分歧更省地花掉?
核心假设:多家 LLM 对同一条样本吵得越凶,码本越可能含糊、缺规则、或卡在类别边界上。
流程分三步。
RL 每类抽 10 条,贪心覆盖尚未出现过的竞争标签,共 120 条。专家看不到目标标签,也不看模型预测。QA 每类 6 题,覆盖核心行为、必要条件、排除、边界、范围、边角。CV 对照原文和模型改稿,可接受、拒绝或手改五个字段:Explanation、Examples、Near-Hits、Near-Misses、Non-Examples。
评测放在另外 110 节课、4032 条专家共识标签上。同样六家模型各标一遍,用 Crowd Kit 的八种聚合(Majority Vote、Dawid-Skene、MACE 等)再对专家标签算准确率和加权 F1。主结果是八种聚合的算术平均。修订语料和评测语料严格分开。数据来自 Eedi、UPChieve、Third Space Learning 三家远程数学辅导,对象是英美 3 到 12 年级学生。
让专家在难例上写理由,比让专家自己改码本更有效。
| 码本 | 可改标签数 | 准确率 | 加权 F1 |
| 初始码本 | 0 | 53.4% | 0.536 |
| 纯 LLM 修订 | 30 | 53.1% | 0.547 |
| CV(专家改+LLM 补其余) | 30 | 53.7% | 0.557 |
| QA 最佳(歧义模式+跨标签) | 25 | 60.5% | 0.613 |
| RL | 24 | 64.9% | 0.658 |
| 专家六月终稿 | 30 | 57.8% | 0.583 |
RL 相对终稿高 7.1 个百分点,八种聚合上配对 t 检验全部显著。高分歧那 10 类(1141 条)加权 F1 从初始的 0.295 提到 0.568,终稿只到 0.429。低分歧类本来就好打,RL 也最高,到 0.727。
时间账更刺眼。CV 人均 53 分钟,几乎没涨点,有一档还掉到 52.0%。QA 人均 3.0 小时,最好一档到 60.5%。RL 人均 2.8 小时,120 条样本、约 1658 词理由,相对初始码本涨 11.5 个百分点。专家自己估整个项目大约 300 小时,那是整套标注加改码本,不能直接拿来当对照工时,但数量级差了两个数量级。
没有专家标签时,自动提示优化帮不上忙。预备实验在 586 条上,SPO 准确率 48.7%、APO 51.2%,都低于初始码本的 55.0%。
分歧本身是难度信号。在初始阶段 825 条上,三家模型全同意时准确率 66.2%(408 条),两家同意 36.0%(308 条),三家各投各的只剩 12.8%(109 条)。换专家人设几乎变不出多样性,换厂商才能拉开预测。
两位专家给 QA 的脑力负担打了 7/7,RL 只有 3.5/7。QA 在「发现以前没想到的区分」上也最高(7/7)。准确率优先选 RL;想用问题逼专家把规则说清楚,QA 是另一条路。
给正在用 LLM 做大规模编码的团队一个很具体的操作建议:别一上来让专家改提示词,也别迷信自动 prompt 优化。先用多家模型把码本跑一遍,把熵高的样本抽出来,让专家打标并写理由,再让模型把理由写成可复用规则。
这条路径省的是专家日历时间,不是算力。六家模型标 6595 条再标 4032 条,账单不小。换来一份人类可读、可迁移的码本,不是逐条对齐某个模型。CV 的失败也有用:专家改模型写好的条文,和「在黑暗中改 prompt」一样不稳。
这是渐进改进,但落在一个真项目、真专家、真六月对照上,不是玩具分类器上的几个点。
作者自己写了几条。只在一个辅导对话项目、两名专家上验证,标签集合基本没增删,换领域、换层级结构未必成立。三套工作流共用同一批专家,学习效应没法彻底消掉。数据里有师生角色标反、切句错误、转写噪声,没有系统量化。6.1% 的话语有多个共识标签,评测只认第一条。
还有几处论文没钉死。专家已经在六月项目里把任务学透了再进实验,所以「数天替代数月」测的是改码本效率,不是从零学领域。终稿是写给人看的,RL 码本是写给模型看的,LLM 标注分数更高,不代表人类标注员用起来也更好。修订模型固定 GPT 5.6 Sol,换一家会不会还是 RL 第一,没有消融。准确率 64.9% 在 30 类任务上仍然不高,大规模上线还得叠加质检。