ProgramBench 从全员 0% 到 Anthropic 领跑 18%，编码基准一年巨变
jyangballin · x · 2026-10-27
- ProgramBench 作者感叹基准进展之快：发布之初所有模型都是 0%，团队一度担心太难而引入「almost resolved」等更弱的指标。
- 配图显示各厂商新模型的成绩阶梯式上涨：Anthropic 最新模型已达约 18% 的 resolved 率，Meta 约 8.5%，OpenAI 约 5%。
- 从 6 月到 11 月的发布节奏看，Anthropic 在该基准上持续保持领先，OpenAI 与 Meta 落后明显。
「模型」频道最新
- 博主吐槽：升到 iOS270 苹果 AI 也好不了 — lipeng0820 · 2026-10-28
- SlopCodeBench 十月报告：Astra 编码跑赢 Opus 5.5 — teropa · 2026-10-28
- 1.3B 开源 OCR 模型跑分 93.68，还配了个 2B 的 AI 裁判 — Equivalent-Grass-527 · 2026-10-28
- 方寸联发布 DeepSeek V4.1 Flash-1017 第三方安全评估,聚焦失控与有害操纵风险 — pstAsiatech · 2026-10-28
- NVIDIA 开源完整工作流：用合成人设与 LoRA 微调 Nemotron 适配本地化 — NVIDIAAI · 2026-10-28
- Carbon-X 登顶 DNA 理解：基于 Qwen3-14B 微调，五大基准直逼 GPT-6.1 — lvwerra · 2026-10-28