multiPL-e 数据集现低级错误，Rust 指令变写“rsthon”
code_star · x · 2026-08-17
开发者 codestar 指出 multiPL-e 数据集中的 MBPP 部分存在明显的预处理错误。数据集试图通过简单的正则替换将 Python 代码转换为 Rust 代码（将 .py 替换为 .rs），导致生成的指令荒谬地要求编写“rsthon”函数。这种低级错误长期存在于基准数据集中，可能影响了多篇基于该数据集的论文评估结果。
所属事件:multiPL-E数据集出错 Python变Rsthon(2 条相关)→
「研究」频道最新
- RLHF 训练下 Temperature=1.0 优于经验值 — jessi_cata · 2026-08-17
- 生物预测模型常被简单基线击败？这本指南讲了原因 — HongyiWang10 · 2026-08-17
- Multi-group IRT 分解跨语言安全评测基准 — sanmikoyejo · 2026-08-17
- 《自然》「科学颠覆性下降」论文：审稿人早已发现方法硬伤 — RexDouglass · 2026-08-17
- 观点：应用 10 万美元算力求解胜过数十年人工搜索 — littmath · 2026-08-17
- 新论文探索人机共创中的显性、隐性及新规则 — sebkrier · 2026-08-17