同一 harness 两份榜单排名完全颠倒，agent 评测乱象引热议
lunwang1996 · x · 2026-10-30
paradite 指出 TB4 事件愈发离谱：vals ai 和 AA 两家都用 mini-swe-agent harness 测试同一批模型，排名却完全相反——
- vals ai：Opus 5.5 > Sonnet 5.5 > Kimi K3.1 Pro > Gemini 4 Carbon
- AA：Kimi K3.1 Pro > Gemini 4 Carbon > Sonnet 5.5 > Opus 5.5
lunwang1996 评论称，他不认为 Google DeepMind 在故意「做」benchmark，而是 agent 作为极复杂系统，不逐条翻样例、花一整天去挖，根本说不清你实际在评测什么。这轮争议的核心是：agent 评测结果对 harness 配置高度敏感，跨榜单比较几乎不可靠。
「编程与Agent」频道最新
- YC 转推点赞 Herdr：可跨机器调度 Agent 的开源多路复用器 — ycombinator · 2026-10-30
- 英国司法部用 Pydantic 做 AI 输出可执行契约,服务法官与缓刑官 — samuelcolvin · 2026-10-30
- Vercel 推出「Agentic Infrastructure」：为编码 agent 生成式部署而建的发布栈 — evilrabbit_ · 2026-10-30
- Garry Tan 示范一条命令给 Claude Code 等智能体接入 GBrain 云端记忆 — garrytan · 2026-10-30
- Mollick 谈 Opus 5.5:新模型该少写 prompt,改设中途检查点 — eldonredwards · 2026-10-30
- YC 实验项目：在 Minecraft 和 Mindustry 里跑 AI Agent 集群 — sandslash · 2026-10-30