基准测试结果差异引热议:推理类基准提升幅度最大
code_star · x · 2026-08-28
开发者 codestar 在讨论中提到 MultiPL-E 基准的测试结果,指出不同基准之间的成绩波动差异很大,值得探究是什么因素导致部分基准的方差远高于其他基准。一个观察是:所谓「推理」类基准(非知识型)在这轮变化中获得了最高的提升幅度。
所属事件:Qwen 稀疏注意力对比 MiniMax,TileLang 内核推理基准大涨(7 条相关)→
「研究」频道最新
- DeepPhylo 用深度学习推断系统发育树,摆脱恒定突变率等强假设 — anshulkundaje · 2026-10-15
- Wander 预印本提出图基础模型:随机游走接口统一图预测任务 — mmbronstein · 2026-10-15
- CHI 审稿人观察:AI 垃圾论文泛滥,但好研究依然在出现 — IanArawjo · 2026-10-15
- CMU 基准测试:135 篇 AI 代理科研论文 114 篇未过诚信审查 — arankomatsuzaki · 2026-10-15
- 让 AI 真正从经验中学习:资深从业者给出 8 条不可妥协原则 — tokenbender · 2026-10-15
- Benchling 发布 Science Foundries:智能体蜂群重塑科研工作流 — nlarusstone · 2026-10-15