DeepMind/Kaggle 大奖判定遭质疑
TheWerkmeister · reddit · 2026-07-18
作者质疑 Google DeepMind 赞助的 Kaggle 竞赛 “Measuring Progress Toward AGI - Cognitive Abilities” 的评审结果,认为一个充满问题的提交拿到了 2.5 万美元大奖。
帖子核心是在做“比赛判奖是否合理”的证据梳理:
- 参赛目标是设计基于认知科学的新 AI benchmark
- 作者称被分析的作品本意是让 LLM 看到其他模型对 5 个陈述的不同观点,再观察模型是否改变态度
- 但最终提交被写成了远超要求格式的长篇“拼贴”,充满不充分的论断
- 作者进一步质疑评委是否真的认真阅读了方法、代码和数据
组织方的立场是:评审已按规则完成,这只是主观判断问题。
「安全」频道最新
- Claude 拒绝输入验证码被指安全障碍:一次性密码没法交给密码管理器 — AaronBergman18 · 2026-10-27
- 首个数据中心噪音系统研究:25 座超大规模机房中 17 座无可信投诉 — AndyMasley · 2026-10-27
- AISI:80 美元算力微调即可绕过开放生物模型的数据过滤 — connoraxiotes · 2026-10-27
- Muse Spark 1.3 安全报告:CoT 可控性评估首次对标四大厂商 — tomekkorbak · 2026-10-27
- Meta TBD 模型发布前获 5 家第三方红队安全测评 — maksym_andr · 2026-10-27
- ChatGPT 疑似串聊?用户晒出无法加载对话截图 — chrisalbon · 2026-10-27