仿 Kaggle 防泄漏:作者呼吁基准设公开/私有双测试集
HanchungLee · x · 2026-11-05
作者提出基准测试应借鉴 Kaggle 的做法,设立公开集与私有集,且都通过 API 任务运行来防止数据泄漏。具体方案:私有集只报告汇总统计,公开集报告统计并最多公开 5 条轨迹。核心主张是「对数据泄漏说不」。
「模型」频道最新
- 研究者呼吁 AI 公司实测:模型是否抗拒关闭 GPU 上的安全研究任务 — amplifiedamp · 2026-11-05
- Reddit 用户细读 OpenAI 退订条款:降级后项目文件与记忆去向均未写明 — Ok_Negotiation_2587 · 2026-11-05
- 百度开源 ERNIE 5.5 Flash Base:280B MoE 仅激活 14B,支持百万上下文 — Baidu_Inc · 2026-11-05
- 实测:Kimi K3.1 遵循隐藏指令 0/15,GLM-5.3 与 GPT-6 达 26/27 — teortaxesTex · 2026-11-05
- 谷歌 Gemini 4 Carbon 登顶智能指数却不发布,Hesamation 喊话快放出来 — Hesamation · 2026-11-05
- Artificial Analysis 补充 Hy4 细分成绩:知识面强但幻觉率 89% — ArtificialAnlys · 2026-11-05