Gut Benchmark 试图评估模型的真实工作手感
TheBookOfWords · reddit · 2026-07-21
这个帖子介绍了一个叫 Gut Benchmark 的新基准网站，核心思路不是比刷榜分数，而是看模型在真实工作里“手感”如何、之后有没有偷偷退化。
- 作者认为传统 benchmark 有两个盲点：一是不能反映模型在具体工作流中的表现；二是基准发布后，模型可能被降级，但 benchmark 分数看不出来。
- 这个项目试图把零散的使用感受和评论变成一个可见、可操作的信号，帮助判断模型是否真的适合工作。
- 配图里的主页也直接把它定义成“你能实际感受到的 benchmark”，并强调记录真实工作体验而不是合成分数。
「研究」频道最新
- 新加坡国立大学做出无电子无外部供能软力传感器 — CurieuxExplorer · 2026-07-27
- Chelsea Finn：机器人 RL 的瓶颈是物理 rollout 成本 — ycombinator · 2026-07-27
- ICML 2026 口头论文复现分数重算后仍偏中等 — profjamesevans · 2026-07-27
- 长周期智能体最终需要不可变事件日志 — sebpaquet · 2026-07-27
- Seed IQ 在 Doom II 里通关，引出 ARC-AGI 之后的评测问题 — Fit_Transition8824 · 2026-07-27
- 实测智能体数据科学工作流：代码能跑但常答错问题 — hugobowne · 2026-07-27