Contestable Agents for Data Governance: Recording Human Stewardship of AI-Generated Metadata Across Structured and Unstructured Systems
Humza Akhtar, Brian Freeman
cs.AI, cs.DB, cs.HC, cs.MA
2026-10-23
提出可争议治理:代理为元数据决策生成带引用的打分论据,人类管家入库前逐条反驳、全程留痕,已开源 HVAC 参考实现。
工业企业的运营知识分两摊:结构化的遥测、点位表、交易流水,和非结构化的手册、维修笔记、检验报告。治理团队通常分开管,把两边关联起来的活压在少数懂设备的员工身上。商用 HVAC(暖通空调)最典型:一台联网空气处理机几百个点位,这家厂商叫 AHU3SAT,那家叫 SupplyAirTemp03,要先映射到 Brick Schema 这类标准本体,能耗报表和故障检测规则才认得;懂设备的人不够,新机型一上线点位就积压。
LLM agent 改了这件事的经济学,读手册、比对历史、给分类提案都能自动化,麻烦跟着来:agent 直接写数据目录,一个错误分类会随机型复制扩散到整个机组群;审查员一键批准,正撞上人因研究记录在案的 rubber-stamping(橡皮图章)现象,记录只写着有人批准过,看不出查了什么;否决意见留在邮件或工单里,agent 看不见,下次照犯。MongoDB 与暖通厂商 Trane Technologies 的两位作者主张,把「可争议」做进数据层。
论文立了七条需求当标尺,核心是:提案引用来源、提交前可质疑、决策可归因到 agent 与模型版本与具名审阅者、历史只追加、一次查询取回完整 lineage(从源证据、agent 提案、人工修改到最终元数据的链路)、验证决策过闸门才当先例、审阅干预存成可度量数据。
完整工作流四步:
打分用 QBAF(quantitative bipolar argumentation framework,量化双极论辩框架):论据之间有支持也有攻击关系、各带数值强度,同步迭代到不动点附近,参考实现取边权 α=0.3、迭代 10 次。版本化领域词表给缩写带上设备与版本适用范围、来源段落和负责人:DISCH 在一种机型指混合风、在另一种指出风口,全局统一释义反而把冲突藏起来。triage 分流用返回概率的有界决策模型筛掉明确点位,低置信的才走完整论证;阈值本身是有负责人的治理决策,随记录存档。
两个用例都是合成数据,论文没有给任何分类准确率,数字演示的是打分机制如何响应人工干预。
用例 1 是 HVAC 点位分类,配开源参考实现(CrewAI + GPT-4o + Voyage AI 向量检索 + MongoDB):合成站点 247 个点位、18 个有歧义,triage 下 229 个走轻量审查、18 个走完整论证,全部先审后入库。演示点位 AHU-1-DISCH-T 上,DISCH 在 EQ-7700 空气处理机指混合风、在同系列风机盘管指送风:
| 用例 | 指标 | 数值 |
| 点位分类 | 干预前两候选边际 | 送风 0.045 / 混合风 0.044 |
| 点位分类 | 拒掉只看缩写的反驳后 | 混合风 0.821 |
| 点位分类 | 补一条引用手册 4.2 节的论据后 | 混合风 1.758(提交) |
| 保修判定 | 审查前 Sensor / Linkage 边际 | 0.907 / 0.839 |
| 保修判定 | 拒 S3、加 S6 后重算 | Sensor -1.016,Linkage 0.839 不变 |
保修用例里,管家发现服务公告只覆盖序列后缀 1000–1999,本机是 2407,据此拒掉一条论据、补一条「换了传感器故障未消除」,系统改选风门连杆失效。数值稳定性有检查:相邻迭代最大差 3.20×10⁻⁷,每论据残差上界 1.37×10⁻⁷;α 取 0.2 和 0.4 重算,前后胜负不变。triage 一节另引了别人的 100 任务 benchmark,同类路由把强模型调用减少 72.7%、任务成功率 95%,论文明说这组数字不测本工作流。
让 agent 写元数据的团队都会撞上同一堵墙:错误顺着目录扩散,人工审查留不下证据,纠错回不到 agent。这套设计把「人查了什么、改了什么」变成可查询的数据,一次聚合查询取回整个决策血缘;哪个 agent 的论据最常被拒、新机型审查要多久,都成了可统计的运营指标。论辩图的颗粒度也实用,审查者挑战的是单条论据,不是对一个最终标签做非黑即白的裁决;同机型的下一个机组还能通过先例继承人工修正。要说透:这是模式论文加参考实现,不是评测论文,QBAF 与 DF-QuAD 都是计算论辩的现成件,贡献在搬进数据治理场景并配上存储模型与闸门设计,属于集成创新。
论文自己列了一长串:base score 由写论据的 agent 自己打,未校准、逐次运行可能漂移,示例里干脆是作者手选的;没有实测的分类准确率、审查耗时、错误提交率;参考实现只在单个点位上跑通全流程,二次编辑会覆盖原论据,先例库不回写,triage、append-only 历史和 promotion gate 都还是提案;打分规则未对照已发表的加权论辩公理检验,孤立论据的 base score 经 logistic 映射会落到 0.50–0.73,不保留原值。
读下来另有三处要打问号:S1、S2 同出自索赔记录 C1,相关证据会推高边际而不增加独立支持,论文点了问题没给解法;Brick 1.4.2 里送风与排风传感器类本就等价,三个标签实为两个本体选择,参考实现照打三份分,本体感知缺失;每个修正都要人审,低风险修改也被拖住,论文预留的自动通道尚未评估。