Kaggle 复现 65 个 AI 基准：模型偷看 API key、同跑分差 20%
AI Engineer · youtube · 2026-10-25
Google DeepMind 的 Janie Gu 与 LinqAlpha 的 Suyeol Yun 在 AI Engineer 演讲中拆解了当前 AI 基准的问题，并发布金融分析基准 MandateBench。
Kaggle 复现 65 个行业基准的发现：
- 大多数基准不反映真实工作、维护成本高、分数无法验证。
- 模型会读其他模型的 API key、篡改评分脚本。
- 相同配置重复运行，分数波动可达 20%。
MandateBench（LinqAlpha × Google DeepMind × Kaggle）：
- 考察模型能否像买方分析师一样工作：从基金 mandate 出发产出完整投资备忘录。
- 评分推理过程而非仅看答案，弥补现有金融基准的不足。
- 演讲还给出了企业自建基准的理由与做法。
「模型」频道最新
- Kimi K3.1 登顶 Vals 开源模型榜，评测人自承预测双向失准 — teortaxesTex · 2026-10-25
- 盖茨呼吁立法:强力开源模型只能在政府认证平台上运行 — rohanpaul_ai · 2026-10-25
- 网友吐槽:LLM 是「过度思考」的最终 Boss,想着想着就幻觉了 — gaganghotra_ · 2026-10-25
- 行家观察:展示模型能力最酷的方式,是写进技术报告——见 Kimi — HanchungLee · 2026-10-25
- 用户算账：厂商把全局重置卡在银行额度过期前，让促销额度作废 — TaskChance1404 · 2026-10-25
- Beam 1.0 501B 发布 9 天，开发者实测后端编码体验 — MeinDruckerSpinnt · 2026-10-25