Gut Benchmark 试图评估模型的真实工作手感
TheBookOfWords · reddit · 2026-07-21
这个帖子介绍了一个叫 Gut Benchmark 的新基准网站，核心思路不是比刷榜分数，而是看模型在真实工作里“手感”如何、之后有没有偷偷退化。
- 作者认为传统 benchmark 有两个盲点：一是不能反映模型在具体工作流中的表现；二是基准发布后，模型可能被降级，但 benchmark 分数看不出来。
- 这个项目试图把零散的使用感受和评论变成一个可见、可操作的信号，帮助判断模型是否真的适合工作。
- 配图里的主页也直接把它定义成“你能实际感受到的 benchmark”，并强调记录真实工作体验而不是合成分数。
「研究」频道最新
- Cognition SWE-2 用 KKT 对偶优化长度惩罚，一次 RL 推移 Pareto 曲线 — YouJiacheng · 2026-09-11
- VidMap 用 RoMa 粗匹配全帧、精细匹配仅限关键帧 — ducha_aiki · 2026-09-11
- Bug Hunt Bench 作者补充:榜单噪声幅度约 2-3 分 — PawelHuryn · 2026-09-11
- 台球计算模型登 PNAS:二维系统已存在不可判定性,可跑通用计算机 — eigensteve · 2026-09-11
- 新研究:从仿射变换与重力线索求解绝对位姿 — ducha_aiki · 2026-09-11
- LoMa 论文发布 REALLY HardPairs 数据集,入选 ECCV 2026 — ducha_aiki · 2026-09-11