CoDA: A Human-LM Collaborative Codebook Development Assistant for Domain-Specific Text Annotation
Jaspreet Ranjit, Swaminathan Chellappa, Augusto Rivas Costante, Chandan Manjunath, Laura Onasch-Vera, Hailey Winetrobe Nadel, Eric Rice, Swabha Swayamdipta
cs.CL, cs.AI
2026-10-17
CoDA 让专家用模型错例改编码本，无家可归笔记上 115 条反馈、约两小时，三款模型的 Macro F1 都超过数周、593 例的手写稿，复核量约五分之一。
个案笔记和社交帖里，要抽的变量常常没有通行定义。青年无家可归者的健康转介，除了交给医疗机构，帮人约车去诊所、帮人挂号也算。语言模型能按编码本把文本分进标签。编码本就是概念边界和判据的说明书。现有系统默认说明书已经写好，只优化分类。
写说明书才贵。这个无家可归案例里，两位专家按定性编码的常规做法，数周独立标注 593 条，Krippendorff's α 为 0.8。模型标错分两路：没按规则做，是 scoring error；规则没写准要测的概念，是 conceptualization error。换模型只压前一路。后一路得改编码本，而且要对着模型会犯的错改。给人看的手册迁到模型上容易失效。
CoDA 由南加州大学、洛杉矶的 My Friend's Place 和北卡罗来纳大学社会工作学院一起做成开源系统。网页版之外可以本机部署，笔记经 Ollama 走本地模型，不必离开机构。
每个任务只做一个变量，形式是多分类。用户上传任务说明和标签，可以附一段种子规则，再给人工标好的验证集 Dval、未标注库 Dall 和复核预算 b。两个案例的预算都是 150 条，每轮 5 条。回路里的模型是 Q40 量化的 Qwen1.5-32B-Chat。
有一条反馈很典型。笔记只写了头疼、想要诊所建议，模型却标成已收到转介。专家把规则收成：只是讨论了健康问题，就标健康讨论。
三份编码本放在一起比。基线只有任务定义和标签说明。专家版是数周手写的。CoDA 取验证集 Macro F1 最高的一轮，开发用 Qwen1.5-32B，打分换 Llama-3-70B、Qwen2.5-32B、Qwen2.5-14B。
无家可归任务用 My Friend's Place 的 6725 条笔记，标签为收到身体健康转介、出现健康讨论、都没有。那 593 条专家标注被整个拿来当验证集。CoDA 在另一批样本上改规则，第 23 轮、看过 115 条时最高，大约两小时，复核量约为手写流程的五分之一。两小时不含标验证集。
| 模型 | 仅标签说明 | CoDA第23轮 | 专家手写 |
| Llama-3-70B | 0.236 | 0.418 | 0.334 |
| Qwen2.5-32B | 0.343 | 0.493 | 0.446 |
| Qwen2.5-14B | 0.200 | 0.410 | 0.137 |
穿山甲相关帖的情感（正、负、中）被当作贩运的代理。贩运帖爱用绰号和表情，「穿山甲汤好吃」情感为正，指向的却是消费保护动物。验证集 585 条。第 20 轮、复核 100 条、约一小时达到最高分。
| 模型 | 仅标签说明 | CoDA第20轮 | 专家手写 |
| Llama-3-70B | 0.388 | 0.556 | 0.547 |
| Qwen2.5-32B | 0.398 | 0.552 | 0.529 |
| Qwen2.5-14B | 0.429 | 0.560 | 0.519 |
六组里 CoDA 都高于手写版，也高于只给标签说明的基线。穿山甲只高出 0.009 到 0.041，无家可归拉得更开。14B 上专家版跌到 0.137，连基线 0.200 都不如，CoDA 还有 0.410。给人写的规则搬到小模型上会伤分。
绝对分数不高，最好是 0.493。全库数字只能当待核清单：Qwen2.5-32B 从 6725 条笔记中报出健康讨论 1474 条、转介 936 条，合计 2410 条；Llama-3-70B 从 23.7 万条帖子中报出负面情感 10196 条。
使用者多半是机构的数据负责人。他们缺的是模型肯照做的说明书，以及笔记不出机构。CoDA 把看错例、写一句反馈、合并规则放进同一个界面，本地模型和云端接口能换，步骤不变。
编码本可以跨模型用。用量化 Qwen1.5-32B 写出来，Llama-3-70B 和两档 Qwen2.5 照样能跟。机构不必为每个新模型重写规则。
这是 EMNLP 2026 的系统演示，不是新算法。回路来自同一组研究者 2026 年的工作，这篇补上可编辑的界面、细到片段和推理的反馈，还有离线部署。省掉的是写编码本的周数，分类仍停在 0.5 附近。
两个案例都是单目标三类分类。多层标签、多标签、长文档和多人协作都没做。采样、预算和停止条件没做消融，也不看新样本还会不会带来新规则。
公布的分数是验证集上的最高轮。界面本来就每轮显示 Macro F1，挑高点是正常用法，可是没有另一份测试集，选版本和报分用的是同一批数据。手写编码本又是在那 593 条上边写边改的，用它来打分，占了开发集的便宜。两小时、约五分之一的复核量，都不含准备验证集的成本。论文也承认，省时间的幅度会随任务变。
2410 条和 10196 条都是模型计数，没有抽检精确率。负面情感只是贩运线索，不是正在交易的证据。无家可归任务的操作者是论文共同作者，外部人员能不能两小时走完，还没有结果。伦理声明禁止把这类标注直接用于临床、法律或政策决定。