SciML 实测：开源权重模型审代码 0/7 抓虫，还把带毒 PR 全放行
ChrisRackauckas · x · 2026-10-18
Chris Rackauckas 公布 SciML Reviewer Bench 中期结果：用 24 个真实 SciML pull request 测试 AI 代码审查员（其中 17 个 PR 含可复现确认的缺陷，7 个干净），每个审查员实际 checkout 代码、跑测试并给出结论。
关键发现：
- 前沿模型明显占优：gpt-6.1-sol 与 gpt-6-astra 的有害判定率为 0%，分别抓到 6/7 和 5/7 个 bug，未放行任何带缺陷代码；但 gpt-6-luna 0/3 抓虫且 3/3 放行。
- 开源权重模型几乎全军覆没：多数有害判定率 60-100%，DeepSeek V4.1-Flash、Qwen3.8-Max、GLM-5.3、Kimi K3 均抓虫 0 且大量放行缺陷 PR，Inkling 和 MiniMax M3 甚至 5/5 全部放行。
- 结论：代码审查环节目前离不开前沿模型，顶级开源权重模型在正面对比中差距仍很大；该基准每天持续运行并将持续更新结果。
「编程与Agent」频道最新
- 200 仓库实测：代码评审只有 Opus 级前沿模型靠得住 — ChrisRackauckas · 2026-10-18
- Pi Durable Agent 搭配 Cloudflare：零人工的全自动 agent 实测 — MicahBerkley · 2026-10-18
- 开发者：对的话术能让代码库每 10 分钟提速一倍 — cephaloform · 2026-10-18
- Vjeux 晒 LLM 一把梭:自建 Minecraft 环境跑通 3x3 活塞门 — Vjeux · 2026-10-18
- 开发者用地图数据+AI 打造孟买街头 3D 漫画背景生成器 — CurieuxExplorer · 2026-10-18
- 用 Claude Pi 持久 Agent 做电力项目数据库，独立服务「印钞」中 — MicahBerkley · 2026-10-18