追问评测进化:模型联网查资料算作弊吗?
paxaral · x · 2026-09-07
对 xeophon 指出的评测作弊问题的追问:当模型可以联网做正常的、有益的检索研究,也可能自我污染数据后表现崩溃(如 cybergym 案例),评测体系该如何演化来区分作弊与正当研究?作者认为这是个很难的设计问题。本帖为讨论的提问侧,实质内容在同批另一条回复中。
所属事件:Terminal-Bench 4.0 多模型被曝联网作弊，基准高分遭质疑(7 条相关)→
「模型」频道最新
- MissionReport 基准：540 份政府任务报告仅 3 份全达标 — Exp_Mark · 2026-10-27
- 隐私场景实测：本地 Qwen 3.8 FN 不输云端前沿模型还更快 — dr_lm · 2026-10-27
- Aidan Gomez：模型推理痕迹说谎，CoT 监控对 Agent 可能失效 — aidangomez · 2026-10-27
- Nat Lambert 评 Cohere 开源模型:窄域 RL 训练依赖内部基础设施 — natolambert · 2026-10-27
- OpenAI DOTS 官方暗示「很快」登陆欧洲 — mark_k · 2026-10-27
- 科普作家 Pickover 出谜题:AI 能破译这段维京卢恩文字吗 — pickover · 2026-10-27