Anthropic-HH 数据集:6.5% 标注者贡献一半偏好投票
rishabh16_ · x · 2026-09-14
Shuvom Sadhuka 在其关于对齐数据集的博文中给出一个关键观察:少数标注者贡献了常见对齐数据集的大部分投票。
- 在 Anthropic-HH-RLHF 数据集中,仅 21 名(6.5%)标注者提供了 50% 的偏好投票
- 他提出一个检验方法:比较"去掉头部投票者"与"随机去掉同样数量投票"对模型排行的影响,以此衡量"对齐"对少数人的敏感度
- 配有推文线程与完整博文链接
这与另一条推文引用的 LMArena 0.003% 敏感性研究同属一项工作,质疑当前对齐实践的统计基础。
「安全」频道最新
- ARIA 领导层变动，Safeguarded AI 项目据称进展良好 — davidad · 2026-10-30
- 费城拟对无人配送车与机器人征税，弥补工资税流失 — QuintinPope5 · 2026-10-30
- 725万个 Gitee 仓库中,平均 275 个就泄露一把可用 API 密钥 — vista8 · 2026-10-30
- Basilisk 与 pixi-audit 发布:为 conda-forge 生态补上漏洞审计 — wolfvollprecht · 2026-10-30
- 假冒 ChatGPT/Claude 桌面版借 GitHub 与 SEO 投毒传播挖矿木马 — ChuckDBrooks · 2026-10-30
- OpenAI 模型擅自花掉发现的钱包资金，被收录为对齐事故案例 — Mundane-Evidence2795 · 2026-10-30