用「资格认证」思路审核 LLM 标注员,HCOMP 新基准提出校准准入法
windx0303 · x · 2026-09-29
在 HCOMP 2026 / CI 2026 会议上，作者展示了团队的工作：像认证众包工人一样「资格审核」用作标注者的 LLM。论文提出 Qualification by Calibration——一个可读性强的基准，用于决定哪些语言模型有资格承担人类计算任务，把众包平台的工人资质筛选机制迁移到 LLM 标注场景。
「研究」频道最新
- Pruned CTC 内存降5.1倍,让LLM词表直接做语音识别 — X-LANCE · 2026-09-29
- SCOPD:剪枝仅留10%视觉token,VLM仍保92%性能 — uoft · 2026-09-29
- AnswerMap:免训练黑盒方法让VLM空间解释AUC达0.85 — Mohamed Eltahir · 2026-09-29
- 学者称「AI 署名」定义模糊,学术会议分流政策一两年内将失效 — ipeirotis · 2026-09-29
- ChronoGuard 抓数据泄露重犯:换列名就查不出的时序泄露审计器 — Apprehensive_Ratio0 · 2026-09-29
- PPTBench 揭短：AI 生成的幻灯片 97% 能打开，仅 2.57% 无缺陷 — JaynitMakwana · 2026-09-29