RETROGRADE 逆向工程 Agent 基准放榜:14 个前沿模型盲测,混淆让所有模型掉分
amplifiedamp · x · 2026-11-05
vmfunc 团队发布 RETROGRADE 基准 round 0 结果:一个程序化生成、按行为评分的逆向工程 agent 基准,目标程序由生成器实时生成,没有固定题库可泄漏,14 个前沿模型通过第一方 API 盲测。
- 关键发现:代码混淆会降低所有模型的得分,而面对不熟悉的 ISA(指令集架构)反而代价更小
- 附图显示初步分数带(非排名):榜首 gpt-6-astra 与 gpt-6.1-sol 约 0.88,qwen3.8-max-prime、grok-4.7 等紧随,band 2 从 claude-haiku-5.5(0.78)到 deepseek-v4-pro(0.71)
- 完整转录已放出到仓库
注:图中模型代号(如 gpt-6-astra、claude-opus-5.5)并非已公开的正式型号名,结果为 preliminary,请谨慎解读。
「编程与Agent」频道最新
- 10 个开源项目帮你砍掉 AI agent 的 token 账单 — victor_explore · 2026-11-05
- 开发者别再堆半成品多智能体:告警场景该让 Agent 跑完整工程流程 — Pavan_Belagatti · 2026-11-05
- Celesto 推出云端沙箱 MCP,一句话让 Agent 跑进硬件隔离远程环境 — aniketmaurya · 2026-11-05
- shadcn 预言 2027 年 T3 Code 将去掉 Code 只剩 T3 — shadcn · 2026-11-05
- Neal Khosla：Agent 将引发「摩擦消失」，瓦解现有社会规范 — rbhar90 · 2026-11-05
- Cherry Pi 用 Lua 驱动终端桌面:脚本编排窗格、跑测试、联动 Rex — sull · 2026-11-05