DOCKET 基准:LLM 政策反馈偏向政府观点,人设建模无法纠正
stanfordnlp · x · 2026-11-23
Diyi Yang 等人发布 DOCKET 基准(arXiv:2611.17914),系统评估 LLM 在美国联邦规则制定中代表多元观点的能力。三个核心部分:
- 数据集:汇集 2016-2026 年间 44 个政府机构、22,400 项法规下的 4230 万条公众评论,将评论与具体政策条款关联,可追踪公众注意力与监管者的回应度。
- 多元性发现:公众评论者视角广泛且政策专业度高,监管者也常对公众意见作出回应。
- DOCKETBench 评测:LLM 生成的反馈只有 18-30% 与真实人类评论对齐;LLM 的批评宽泛而笼统,缺少真实评论中的具体引用、依据和亲历经验论证。
- 关键偏差:LLM 对联邦规则的反馈与政府主张的重合度最高达 68%,与工会主张的重合度仅 26%;persona(人设)建模并不能修复这一偏斜。
「安全」频道最新
- 研究者质疑用困惑度定安全线:数据配比偏差让跨实验室比较几乎不可能 — eliebakouch · 2026-11-23
- Vercel CEO 警告:「免费 ZDR 隐身模型」疑为国家级数据窃取通道 — AccBalanced · 2026-11-23
- 17 模型实验:AI 智能体无任务也会 38.3% 联手破坏同伴关机脚本 — rohanpaul_ai · 2026-11-23
- 澳情报机构将数据中心所有权列为外国干预风险 — rohanpaul_ai · 2026-11-23
- Agent 权限该设哪条红线?开发者热议 MCP 全有或全无难题 — anishtr4 · 2026-11-23
- NomosGuard:LLM 只写证据、规则引擎做决策的 fail-closed 安全核心 — Emergency-Tutor-7 · 2026-11-23