PostTrainBench 一年:AI agent 已能独立跑复杂后训练流程
maksym_andr · x · 2026-11-17
maksymandr 回顾其发布的 PostTrainBench(衡量 Claude Code 等 agent 对基座 LLM 做后训练的能力的 benchmark)近一年的进展,认为速度快于预期:前沿模型从「勉强能启动简单 SFT 运行」进化到「能可靠实现复杂(但仍非真正创新)的后训练 pipeline」。
配图显示各模型驱动的 CLI agent 平均 benchmark 成绩:基座模型基线 8.0%,Gemini 3.1 Pro 18.1%、Grok 4.5 22.6%、Opus 4.8 31.0%、GLM 5.3 34.5%、GPT 6.1 38.8%、Gemini 4 40.4%、Opus 5.5 43.8%、Fable 5.2 44.6%,官方 instruct 模型达 48.4%。作者视该 benchmark 为 AI R&D 自动化的重要先行指标。
「编程与Agent」频道最新
- 作者用 Claude Skill 把自己的写作流程自动化 — danshipper · 2026-11-17
- 用 Claude 追踪杠铃:三步搭出健身动作物理分析流 — wordgrammer · 2026-11-17
- OWASP 发布代理应用安全指南 V2:IAM 是 agent 的核心控制环 — IanAndrewsDC · 2026-11-17
- 用 Sonnet 写出可折叠的 Three.js 高斯泼溅世界:零素材、单文件 1.83MB — OnyxMonolith · 2026-11-17
- Replit × Microsoft Fabric 集成正式可用:描述需求即构建并部署进租户 — amasad · 2026-11-17
- macOS 27.3 改权限 API 收紧 AI 控制权,开发者吐槽弹窗反而更多 — steipete · 2026-11-17