multiPL-E 数据集现低级错误：Python 被替换为 Rsthon
eliebakouch · x · 2026-08-17
在检查 multiPL-E 数据集时发现一个持续多年的低级错误：在 MBPP 数据清洗中，通过正则错误地将 'py' 替换为 'rs'，导致原本要求编写 Python 函数的指令变成了编写 'rsthon' 函数。这暴露了常见代码评测基准数据清理不严谨的问题。
所属事件:multiPL-E数据集出错 Python变Rsthon(2 条相关)→
「研究」频道最新
- COLM 2026 论文：拆解多语言模型安全降级原因 — davlanade · 2026-08-17
- 最大规模开放实验：前沿模型自主AI研究，最佳成绩缩小82%差距 — inductionheads · 2026-08-17
- DeepMind 展示整块推理模型：自纠错解数独 — mtizard · 2026-08-17
- 大模型真实工作能力评测：通过率惨淡，远低于代码任务 — 数字生命卡兹克 · 2026-08-17
- Delip Rao 痛批 AI for Science：现有 Agent 成功多为幸存者偏差 — deliprao · 2026-08-17
- SCoPE 演示上线：无引擎重建，单图生成任意相机路径视频 — yshan2u · 2026-08-17