wordgrammer：好基准测试得是你不在乎的任务
wordgrammer · x · 2026-11-16
wordgrammer 提出，好的 benchmark 应该是你自己并不在乎结果的任务——比如早已放弃的旧项目、数学家已舍弃的猜想；否则就要刻意、 painstaking 地设计以避免污染。核心观点：做 benchmark 的人和做工作的人要分开，否则任务会被「顺手优化」而失去评估意义。
「研究」频道最新
- ICLR 审稿人放话:DRL 顶流,LLM 论文混淆变量满天飞 — tw_killian · 2026-11-16
- 人工人文实验室年度盘点：2026 年密集发表论文 — begusgasper · 2026-11-16
- ASI 是黑箱：我们对「超级智能能做什么」几乎无法推知 — zetalyrae · 2026-11-16
- Turing Post 盘点 15+ 种 Forcing 方法与 10 篇 Looped Transformer 论文 — TheTuringPost · 2026-11-16
- 156页开源知识图谱指南发布：从RDF到Neo4j与Graph RAG全覆盖 — adnan_hashmi · 2026-11-16
- AHA! 免 LLM 权重空间编程：改几千个权重让 0.8B 模型 GSM8K 翻五倍 — hbouammar · 2026-11-16