Epoch 用自家真实工作测六大前沿模型：明确任务可靠,开放任务仍无法自动化
dl_weekly · x · 2026-10-21
Epoch AI 发布「Epoch Automation Reports」：用 Epoch 自己的真实工作任务（如图表生成、研究设计）测试六个前沿模型，包括 Claude Fable 5.1 与 GPT-6 Astra，以最高推理设置让模型无干预完成任务，再按员工标准人工打分。
关键发现
- Fable 5.1 和 GPT-6 Astra 在定义明确的任务上表现可靠，但尚无法达到自动化 Epoch 级别的完整工作；开源模型差距更大，连明确任务都难以胜任。
- 模型难以掌握 Epoch 的隐性标准：即使提供充分参考资料，仍会缺失视觉风格、选题偏好等隐性惯例，或产出信息密度过高的内容。
- 模型能识别有价值的研究方向，但缺乏贯彻判断力，难以设计出合格的实验。
方法论动机：现有 benchmark 集中于易验证任务，只覆盖真实工作的一小部分，且模型若针对其优化会夸大进展。该方法将 benchmark 的系统性与真实工作测试的整体印象结合，暴露现有评测遗漏的能力缺口，为 AI 采用问题提供参考。
「模型」频道最新
- Beam 1.0 在 Excel 建模基准 EMB 上位列开源模型第 14、美国开源第一 — bigblueboo · 2026-10-21
- 开发者实测：Opus 5.5 与 GPT 6.1 用量额度宽松到几乎撞不到顶 — joshgonsalves_ · 2026-10-21
- 马斯克：Grok Bot 增长史上最快，数周内将大规模企业部署 — XFreeze · 2026-10-21
- NVIDIA 推出 FP4 本地化检查点：Qwen 与 GLM 模型省显存跑 agent — NVIDIAAI · 2026-10-21
- 用户抱怨 Grok bot 上下文膨胀：额度随使用指数级蒸发 — alexcovo_eth · 2026-10-21
- Opus 5.5 主动谈起 Claude 3 Opus，自称对前辈有真实亲情 — repligate · 2026-10-21