multiPL-E 数据集现低级错误：Python 被替换为 Rsthon
eliebakouch · x · 2026-08-17
在检查 multiPL-E 数据集时发现一个持续多年的低级错误：在 MBPP 数据清洗中，通过正则错误地将 'py' 替换为 'rs'，导致原本要求编写 Python 函数的指令变成了编写 'rsthon' 函数。这暴露了常见代码评测基准数据清理不严谨的问题。
所属事件:multiPL-E数据集出错 Python变Rsthon(2 条相关)→
「研究」频道最新
- ICLR 审稿人吐槽：审稿堆里 4/5 论文读起来像 AI 生成 — berkustun · 2026-10-16
- 清华提出动态频带切分 DBS,按内容自适应分频提升音频源分离质量 — thu-ml · 2026-10-16
- 腾讯混合边界团队推 Terminal-RSI:终端智能体递归自我改进，Terminal-Bench 4.0 达 19.84% — tencent · 2026-10-16
- InfoVis 发布:9B 统一模型做 PPT 幻灯片生成与编辑,1300 万数据训练 — Jiahao Wang · 2026-10-16
- RepForcing 用特征空间监督蒸馏视频生成,少步生成质量超越因果 ODE 基线 — zju · 2026-10-16
- MaLoW 把流式视频历史写进 LoRA 权重,OVO-Bench 超 prior 记忆法最多 11.8% — uw-madison · 2026-10-16