Jose Valim 实锤 Campfire 移植基准不公:Elixir 验证门槛远高于 Go/Rust

zeeg · x · 2026-10-12

Elixir 作者 Jose Valim 公开质疑一场 AI 编程基准的公正性:他发现让 AI 加速各语言版本 Campfire 的 PR 中,Elixir 版的提速修改被拒绝,而 Go/Express/Rust 版却被接受。

深入排查后发现,各语言项目的起点、prompt 和验证标准完全不同:

他贴出的 Gist 对比表显示:Go 版 214 个桌面截屏仅 12 个全层通过、网络测试 0/198;Rust 版虽有严格 harness 但无已提交的一致性报告;Express 版只有 26 条浏览器断言;而 Elixir 版在 main 上全部 9 个契约与 65 项 gate 全部通过,且 bench 工具强制校验源码一致性。

Valim 讽刺道:那些劝你别读代码的人,连用 AI 搭一个公平基准都做不到——因为那恰恰需要读代码。

原文链接 →

「编程与Agent」频道最新

更多「编程与Agent」频道 AI 资讯 →