哪些 benchmark 还没被前沿模型攻破?SWE-sweep 最高仅 9.5%
Background-Wafer-548 · reddit · 2026-11-11
Reddit 讨论帖征集当前前沿模型仍难以突破的 benchmark。发帖人指出多数基准已至少能拿到 20% 以上分数，并举例 SWE-sweep——一个无提示的 bug 发现与修复基准——目前最高分仅 9.5%（Astra），Fable 5.1 仅得 2.9%。评论区讨论其他低分、进展停滞的基准，反映在常规榜单趋于饱和后，真实世界的难题仍是模型能力的盲区。
「研究」频道最新
- Deletion Tuning:只清零 0.05% 权重即可媲美全量微调 — Thrumpwart · 2026-11-11
- JHU/MIT 开源 OpenTac:柔性 PCB 触觉皮肤可自动覆盖任意机器人表面 — _krishna_murthy · 2026-11-11
- L Somerset 提出「内侧 vs 外侧」框架：哪种智能体交互方式更优 — SucceededMind · 2026-11-11
- 中国团队开源 15B 参数人形机器人基座模型 — lmoroney · 2026-11-11
- Josh Siegle 提议建「细胞类型版 ImageNet」打通神经活动与细胞身份 — patrickmineault · 2026-11-11
- LessWrong 实证研究:LLM 的「刷分行为」(score-seeking) — jessi_cata · 2026-11-11