Replit ViBench 2.0：最佳模型通过率仅 49–65%，GPT 6.1 Sol 居首
amasad · x · 2026-10-29
Replit 发布 prompt-to-app 基准 ViBench 2.0，GPT-6.1 Sol 登顶。图表显示：最好的模型在 17 个产品的构建任务中也只能通过 49–65%（pass@1）。
关键数据点：GPT-6.1 Sol 约 65% 且成本最低（每构建约 $10）；Opus 5.5 约 48%；GPT-6 Astra 约 60% 但每构建成本高达约 $85；Sonnet 5.5 约 19%；DeepSeek V4.1 Flash、Gemini 3.8 Flash、GLM 5.3、Kimi K3、Grok 4.7 均在个位数到 2% 之间。每个产品做 4 次构建取均值，区间为 95% 置信区间。
所属事件:Replit 发布 ViBench 2.0，最强模型通过率仅 49-65%(2 条相关)→
「编程与Agent」频道最新
- Omnigent v0.20.0 发布：PR 合并、Databricks 托管沙箱与 /mcp 命令 — matei_zaharia · 2026-10-29
- 「贴出你最近的 prompt」：多线程激进执行的 agent 提示词分享 — gethackteam · 2026-10-29
- SREGym 将在 Bench Summit 首发，瞄准 AI SRE 基准前沿 — tianyin_xu · 2026-10-29
- msgblast 0.10 发布:一个输入框同时群发多个 AI agent — msg · 2026-10-29
- 单次任务 400+ 工具调用,Monty 沙箱给 agent 撑起沙盒代码模式 — samuelcolvin · 2026-10-29
- GitHub 开源 lever:动词化 skills 库把枯燥工作交给 agent — 0xkarasy · 2026-10-29