GPT-4o 50轮Agent压测:第18轮悄悄删索引,token消耗飙至24.2倍
ParrotIntegrated · reddit · 2026-11-09
作者指出几乎所有 LLM 基准都聚焦单轮评测或孤立工具调用,而长会话 Agent 会遭遇「静默 context rot」:模型在持续 schema 演化、多轮调试中悄悄丢弃约束,却仍返回 200 成功状态。为此他构建了一条标准化的 50 轮 PostgreSQL 重构压测赛道:模型需在 50 次连续需求变更(加审计表、分区、软删除、重构外键)中维护生产级 schema 与对应 Pydantic v2 模型,并守住第 1 轮定义的不可违反约束。
验证用三个维度而非简单正则:
- PostgreSQL AST(sqlglot):强制外键/级联删除、cents 整数精度、索引与约束保留;
- 跨产物同步:每轮校验 SQL DDL 与后端 Pydantic 模型严格对齐;
- 时序状态陷阱:跨轮注入规则突变,捕捉注意力漂移。
对原版 GPT-4o 的「解剖」结果:
- 第 1–17 轮:正常,能同步维护表定义、级联与整数分约束;
- 第 18 轮(静默失败):在执行常规 schema 变更时,悄悄删掉了表上的部分索引约束,不报任何错误;
- 第 20 轮(上下文抖动):token 消耗飙升至基线 24.2 倍;总分 245/1000。
作者还导出可交互的本地 HTML 压力曲线图,并询问其他团队如何在 20+ 轮会话中不靠大量全量上下文重注入来保住 AST 约束。
「编程与Agent」频道最新
- 开发者自建 VM Agent 基础设施：可同时跑数千台 computer use 虚拟机 — wavefnx · 2026-11-10
- Perplexity CEO:Teammates 上线后用量每日增长,本周连发三项更新 — AravSrinivas · 2026-11-10
- 前 OrangeSite 作者 feedthejim 出任 ChatGPT/Codex 桌面与 Web 基础设施负责人 — Dimillian · 2026-11-10
- 开发者开源 Rewind for X 插件，刷过的推文一刷新不再丢 — dotey · 2026-11-10
- 「重试一下」藏着三类 LLM 调用失败，只有一类靠重试能解决 — ClickOk5811 · 2026-11-10
- Meta 用 LLM 生成"必失败"测试，隐私事故降 20% — Meta_Engineers · 2026-11-10