研究指 LLM 评测多次投票去噪效果有限，人类标注仍不可替代
randal_olson · x · 2026-07-30
一项针对大模型评测方法的研究指出，业界常用的「多次运行取多数答案」的容错技巧实际效果并不理想。
假设评分模型本身准确率为 80%，理论上运行 9 次并取多数票应能将准确率提升至 98%。但实测发现，由于模型在每次运行中往往会在相同的边缘案例上犯错，实际准确率仅能提升至 84.5%。作者强调，解决这一问题的根本途径依然是引入人类标注数据，并给出了所需标注量的测算方法。
所属事件:研究揭示 LLM 评测多次投票去噪效果有限(2 条相关)→
「研究」频道最新
- 清华 AI 学院助理教授陈永创 ApexIntelligence，天使轮融 5000 万美元 — DeryaTR_ · 2026-10-16
- 流体不是在「计算」，而是贡献计算中的非线性步骤 — anderssandberg · 2026-10-16
- Sandberg 解析流体计算误差预算：误差随时间二次收紧 — anderssandberg · 2026-10-16
- 流体如何算通用图灵机：力场驱动粒子落入 0/1 盒子 — anderssandberg · 2026-10-16
- FlashAttention 作者 Tri Dao 加入生物 AI 公司任科学顾问 — exnx · 2026-10-16
- SAIR 推出 Open Math OS:免费算力+100 工具,要让社区掌控数学 AI — Thom_Wolf · 2026-10-16