硬核评测：修复 gpt-oss 后跑遍 32 万题
skeole · reddit · 2026-09-01
作者自建推理 Harness 修复了 gpt-oss-20b 在现有后端中的工具调用问题，并在单张 3090 上耗时 1062 小时完成了 32 万次评测（消耗 34.9B token）。主要发现：
- 推理并非越久越好：相同推理 Token 数量下，模型的推理能力差异显著，Medium 努力程度比 Low 准确率高近 60 个点。
- 保留推理轨迹非银弹：虽能降低 seed 方差，但对准确率提升有限，且可能损害依赖特定格式的任务性能。
作者已开源 Harness、评测数据及修复后的 Jinja 模板。
「研究」频道最新
- Smarter Every Day 博主 Destin 将答辩冲击聚变博士论文 — CatAstro_Piyush · 2026-10-18
- 脑植入物让失语者重新开口，Science 长文综述语音 BCI 产业进展 — EricMTrautmann · 2026-10-18
- 曼彻斯特大学发布 LLM 生成代码形式化验证演讲幻灯片 — CatAstro_Piyush · 2026-10-18
- 数学预印本新仓库 Hexagon 上线，收录 arXiv 不收的研究成果 — tak3sh8 · 2026-10-18
- Periodic 创始人 CoLM 演讲：自训模型终将跨越前沿模型拐点 — heghbalz · 2026-10-18
- PNAS 论文:生物突触可自组装出逼近梯度下降的学习规则 — xuanalogue · 2026-10-18