按 loss 排序看样本头:找标注错误的实用一手技巧
antoine_chaffin · x · 2026-09-20
接前一条关于人工标注噪声的讨论,Antoine Chaffin 补充一手经验:把样本按 loss 排序、看头部,总能发现有意思的东西;他每做完一次评测的第一件事就是看几个失败案例,判断到底是该修的真失败,还是标注错误。
所属事件:Qwen 研究员称人工标注噪声或高于自动标注(2 条相关)→
「研究」频道最新
- 微软研究员提醒：BERT 在 2019 年就被称为 LLM — JFPuget · 2026-09-20
- OpenAI 称解出 Navier-Stokes,被质疑「偷用」数学家的 Codex 会话成果 — ExamImmediate8956 · 2026-09-20
- AI 加速科学发现了吗？网络攻击激增、数学微增、算法无明显变化 — soumitrashukla9 · 2026-09-20
- TovanaEngine：用 5 万条 SWE-bench 运行数据训练本地编码 agent 世界模型 — Decent-Ad9950 · 2026-09-20
- Scrabble 也被 AI 拿下了?传奇棋手 Richards 据称仍能击败引擎 — zuilserip · 2026-09-20
- 科学系教科书作者：99.9% 准确率可能等于零个发现 — bravo_abad · 2026-09-20