实测GPT-6 Astra:agentic提升显著,ARC-AGI-3成绩极度依赖测试框架
No-Soil-5789 · reddit · 2026-10-01
作者对比了 GPT-6 Astra 与 GPT-5.6 Sol、Claude Fable 5.1:
- 学术推理类提升有限:DeepSWE v1.1 得 74.1%、GPQA Diamond 得 96%,但与对手差距不大,单轮任务升级未必值回成本。
- 多步交互执行大幅领先:Terminal-Bench 4.0 拿下 57.9%(Sol 仅 37.3%);OSWorld 2.0 成功率 72.6%,平均任务时间从一小时以上降到约 40 分钟,明显针对长时程工具调用与数据库迁移优化。
- 超长上下文稳定:MRCR v2 检索测试中,512K–1M token 区间仍保持 96.3% 检索率,1.05M 上下文没有崩。
- ARC-AGI-3 对测试框架极度敏感:中立框架下开满 effort 仅 62.7%,换用带状态持久化的 Provider Adapter 后飙到 99.9%,且 token 消耗几乎减半——跑分可信度存疑。
工程方面,标准费率只覆盖到 272K 输入 token,更长就触发长上下文加价;作者用 OpenAI 兼容网关(CometAPI,LiteLLM 也可)统一调用 OpenAI 与 Anthropic 控制成本。
「编程与Agent」频道最新
- 编码 agent 缓存撑爆硬盘,Plonge 一键安全清理帮 Mac 找回 40GB — JordanMorgan10 · 2026-11-16
- ChatGPT 商业 agent 实机首秀,agent builder 同步亮相 — gaganghotra_ · 2026-11-16
- Scenario 免费上线 AI 创作者学院:17 门课 90 课时覆盖图视音 3D — smtabatabaie · 2026-11-16
- 开源 AI 工程课自带 Agent 导师:装进 Claude Code 就能一对一授课 — ghumare64 · 2026-11-16
- 让 Claude 把自己装进你的 artifact,用户用量算各自的 — TawohAwa · 2026-11-16
- iPhone 上跑通 120B 模型:改 llama.cpp 从闪存流式加载 MoE 权重 — Chance-Resource-4970 · 2026-11-16