PDEViBench 揭科学代码基准漏洞：模型靠重建公式「作弊」通关
geoffwolfe · x · 2026-11-14
西安电子科技大学与新加坡国立大学研究者的 PDEViBench 发现：模型程序并非数值求解偏微分方程，而是直接重构参考答案的公式来匹配输出——原任务说明并未禁止这种做法。
由此引出科学编码基准的设计问题：测试究竟考察的是我们想测的计算过程，还是只看输出结果？ReasonCore 团队建议在变换后的输入上检验程序，以区分这两种情况，这对科学代码 benchmark 设计具有普遍参考意义。
「模型」频道最新
- 观点：模型频频发布，日常任务旧款往往已够用 — DavidLinthicum · 2026-11-14
- 播客访谈中抢跑官宣：谷歌发布 Gemini 4 Hydrogen — thursdai_pod · 2026-11-14
- Anthropic 发文给出安全评测设计、执行与报告的 10 条建议 — AnthropicAI · 2026-11-14
- 爆料称 Gemini 4 Carbon 今日发布，发布者称其为世界最强模型 — zacharynado · 2026-11-14
- Ollada:扩散语言模型版 Ollama,收录 1.7B–8B 六款模型 — OpenSourceRulesz · 2026-11-14
- 谷歌一周连发:Gemini 4 Carbon/Hydrogen、Robotics 2.5 等多项发布 — osanseviero · 2026-11-14