默认 Codex CLI 配 GPT-5.5 在 XBOW 跑到 92.3%
evilsocket · x · 2026-07-24
- 这条帖子配图对应一篇关于自主渗透测试的论文：在 104 任务的 XBOW 基准上评估编码代理。
- 作者用默认版 Codex CLI、OpenCode 和 Pi，在相同的 GPT-5 模型、预算、接口和评分规则下做 plain-agent baseline，尽量排除脚手架带来的偏差。
- 核心结论是：专门的安全 harness 可能显著抬高分数，很多“架构提升”未必真来自模型本身。
- 论文主张在比较 XBOW 这类基准时，先报告模型匹配的朴素基线，再讨论架构设计是否真的带来增益。
「编程与Agent」频道最新
- Runway 发布 App Studio：描述即生成图片视频音频创意应用，无需代码 — runwayml · 2026-10-27
- 用 $28 算力让模型给自己造 copilot：他的新模型个人基准 — bucolucas · 2026-10-27
- 创始人和 Claude 4 天产 46 条 App 视频，省下 1.15 万美元 — PrajwalTomar_ · 2026-10-27
- Agent 中途改计划该被允许吗：真实系统介入时的边界之辩 — wistfulcracker84 · 2026-10-27
- HeyGen 联手 Canva:幻灯片讲者备注自动变数字人讲解视频 — HeyGen · 2026-10-27
- 隐私场景实测：本地 Qwen 3.8 FN 不输云端前沿模型还更快 — dr_lm · 2026-10-27