multiPL-e 数据集现低级错误，Rust 指令变写“rsthon”
code_star · x · 2026-08-17
开发者 codestar 指出 multiPL-e 数据集中的 MBPP 部分存在明显的预处理错误。数据集试图通过简单的正则替换将 Python 代码转换为 Rust 代码（将 .py 替换为 .rs），导致生成的指令荒谬地要求编写“rsthon”函数。这种低级错误长期存在于基准数据集中，可能影响了多篇基于该数据集的论文评估结果。
所属事件:multiPL-E数据集出错 Python变Rsthon(2 条相关)→
「研究」频道最新
- 中科大团队提出 Speculative Sampling，交互式视频生成延迟大降 — ustc · 2026-10-16
- 清华 CoTranslator：逆向 CoT 蒸馏让 Qwen3-4B 数学成绩大涨 — Tsinghua · 2026-10-16
- 诺奖得主 Jennifer Doudna 谈 AI 在科学研究中的角色 — ChiaraStellata · 2026-10-16
- 自建「主观判断」基准：18 个模型一致性测试，GLM-5.3 登顶 — arkuto · 2026-10-16
- UCSD团队提出数据集水印法，仅凭API输出即可检测训练数据盗用 — yuxiangw_cs · 2026-10-16
- EmbodiedEvo 让 Agent 传承经验：登顶 RoboDojo 榜单 — Aiden_Tech_Ai · 2026-10-16