MBPP 移植 PL/SQL,首个 Oracle 方言基准将亮相 EMNLP
srchvrs · x · 2026-10-06
研究员 srchvrs 团队构建了首个针对 Oracle PL/SQL 的代码评测基准,将在 EMNLP Industry Track 以海报形式发表。
做法与发现:
- 将 MBPP 和 MBPP+ 通过基于规则的映射"翻译"成 PL/SQL,单元测试同步转换,并附带质量检查保证转换基本无缺陷
- 作者确认 PL/SQL 版 MBPP+ 的评测套件无错误:每个样例都存在满足全部测试用例的 replay 函数
- 初步结果显示 PL/SQL 版 MBPP+ 上至少 87% 的分数是可以达到的
该基准填补了主流代码评测对 PL/SQL 这类企业级 SQL 方言的空白,可用于检验模型与 agent 在简单编程任务上的表现。
「研究」频道最新
- Arc Institute 发布 PIE 模型：让扰动效应泛化到未见细胞系与扰动组合 — yusufroohani · 2026-10-06
- 扰动模型难泛化的两大瓶颈：系统表征与信号识别 — yusufroohani · 2026-10-06
- Apple 研究员两篇流模型论文中选 NeurIPS,提出轨迹归一化模型 — thoma_gu · 2026-10-06
- NormalFactory 推出 FrontierCAD,自动校验 AI 生成 CAD 装配是否正确 — hudzah · 2026-10-06
- Stability AI 暑期项目 SemanTok:49M 模型语义评测胜过 47 倍大对手 — CSProfKGD · 2026-10-06
- Kundaje 续谈虚拟细胞:现有实验设计学不出因果世界模型 — anshulkundaje · 2026-10-06