DOCKET 基准:LLM 写的政策意见仅 18-30% 对得上真人反馈
stanfordnlp · x · 2026-11-21
斯坦福等机构团队发布 DOCKET——迄今最全面的美国联邦「通知-评论」规则制定流程数据集,并首次系统评估 LLM 代表人类政策观点的能力。
- 数据集涵盖 2016-2026 年 44 个政府机构的 22,400 项法规下的 4230 万条公众意见,并将意见与具体政策条目关联,追踪监管者对公众输入的响应度。
- DOCKETBench 评估发现:仅 18-30% 的 LLM 生成反馈与真人评论对齐;LLM 能把握语气,但批评泛泛而谈,缺少真人评论特有的具体证据、引用和亲历论证。
- 部分模型还系统性偏向政府视角(与 68% 的政府主张重合,而与劳工群体的主张重合度低至 26%),persona 建模也未能解决这种视角偏斜。
「安全」频道最新
- Epic 用 Claude 安全模型找出 MyChart 审计日志盲区,暂停新功能六周修补 — pswider · 2026-11-21
- 进入 CISA KEV 的 Puppet 控制面漏洞修复三个月后仍现未授权变更 — Dave_Maynor · 2026-11-21
- 实测用 Defender for Endpoint 发现 Windows 上的本地 AI 代理 — davemccollough · 2026-11-21
- Signal 限制截屏功能,阻断 AI Agent 读取私聊消息 — ZeroStateReflex · 2026-11-21
- X 网友热议:前沿实验室安全岗位大多净负面,但这两人例外 — austinc3301 · 2026-11-21
- 暗网惊现 8.15 亿条印度 Aadhaar 身份记录疑似泄露 — kingslyj · 2026-11-21