TerminalBench 作者回应评测争议:建数据难,欢迎加入社区共建
ajratner · x · 2026-10-21
- OfirPress(Princeton 研究员)就一篇针对 TerminalBench 的分析发文表态:构建这类评测数据「很难且充满细节坑」,开源项目如 TerminalBench 的初衷就是大家以开放协作的方式一起做。
- 他希望该分析团队不要单干,而是加入 TBench 社区已有的日常讨论渠道(repo、Discord 等)共同打磨这些细节。
- 反映 benchmark 社区中「外部批判 vs 上游共建」的常见张力。
「研究」频道最新
- 新研究草稿:稀疏 MoE 残差激活在可解释性上或优于稠密激活 — menhguin · 2026-10-21
- 研究者类比:刺激单个神经元可改变行为,LLM 单神经元定向也成立 — HistedLab · 2026-10-21
- 开发者用 3800 行代码无引擎重建瑞士真实地形,精度达 0.5 米 — techartist_ · 2026-10-21
- UnsolvedMath 收录 17614 道开放数学难题供 LLM 攻克,遭数学家批「无理解刷题」 — tak3sh8 · 2026-10-21
- mini-Lean-agent:纯 bash 最小 agent 在 Putnam 2025 拿 12/12,单题成本 1.28 美元 — wellecks · 2026-10-21
- 研究拆解像素扩散 Transformer:JiT 的两大痛点与改进思路 — CSProfKGD · 2026-10-21