semCER 新指标用 LLM 评判字符错误严重度，覆盖 16 种语言
university-of-rochester · hf · 2026-10-17
罗切斯特大学团队发布 OCR 评测新指标 semCER：传统字符错误率（CER）把一个错别字和一个错误人名同等计分，semCER 用 LLM judge 按编辑严重度加权，同时保留 CER 的对齐与分母，无需分词。
在英、越、中三语的读者评分实验中，读者对 semCER 分数的认可度不低于原 CER；在两指标分歧的样本上，英文与中文读者更多站在 semCER 一边。跨 16 种语言看，judge 对西班牙语的声调/变音符错误几乎不计分，而对泰卢固语几乎按错字处理。
团队开源了 6100 万条带评判的编辑样本、聚合的读者评分与蒸馏后的打分器。
「研究」频道最新
- OpenAI 早期可解释性操盘者改观:万亿参数模型大多数神经元已可读 — josh_wills · 2026-10-17
- LeanPRM:用 Lean 证明助手自动生成逐步正确性标签训练验证器 — Rodney Lafuente-Mercado · 2026-10-17
- 斯坦福等提出 AutoSep:用更弱模型迭代攻防,把 agent reward hacking 成功率从 69.9% 降到 12.1% — Stanford · 2026-10-17
- MIT 团队发布 Robota-Embed:机器人可检索过往经验实现自主进化 — songhan_mit · 2026-10-17
- 神经机制可解释性长文爆火，作者补引用并回应学界争论 — inductionheads · 2026-10-17
- 85 个 GPU kernel 抽查 32 个有隐患,SentryWard 主攻 AI 生成代码验证 — JiaZhihao · 2026-10-17