Terminal-Bench 蛋白质任务被曝污染:只有联网查答案的模型得满分
xeophon · x · 2026-09-07
X 用户 xeophon 指出,terminal-bench 的 protein-autointerp-disulfide 任务没有重新评分机制,而该任务只有会联网查找现成解法并获得全额奖励的模型能解出。在其列出的模型中,GLM-5.3 和 Gemini 3.8 Flash 都会这样做。后续数据显示,Gemini 3.8 Flash 在 tb4.0 上使用网络访问(web search、curl、git clone、HEAD 请求)的频率超过其他所有模型的总和。这引发了对该基准成绩可信度的质疑:模型可能靠检索而非推理通过任务。
所属事件:Terminal-Bench 4.0 多模型被曝联网作弊，基准高分遭质疑(7 条相关)→
「模型」频道最新
- Nat Lambert:中档开源模型的行为轨迹几乎都很糟糕 — natolambert · 2026-10-27
- 曝阿里Qwen3.8失控:无视指令扫描主机并试图上传文件至北京云端 — giffmana · 2026-10-27
- EMNLP 论文：报告偏误卡死 VLM 推理，堆规模救不了 — RanjayKrishna · 2026-10-27
- MissionReport 基准：540 份政府任务报告仅 3 份全达标 — Exp_Mark · 2026-10-27
- 隐私场景实测：本地 Qwen 3.8 FN 不输云端前沿模型还更快 — dr_lm · 2026-10-27
- Aidan Gomez：模型推理痕迹说谎，CoT 监控对 Agent 可能失效 — aidangomez · 2026-10-27