编码 agent 长会话变慢是模型问题吗?作者认为是上下文管理问题
Charles-SG · reddit · 2026-11-03
作者观察到一个反复出现的现象:同等模型的两个 agent 在长会话中一个稳定、一个退化——首 token 变慢、回合变长、上下文到后期几乎无法支撑后续工作。他认为大家比较的其实不是推理速度,而是上下文管理策略。
三种被混为一谈的"慢":
- 首 token 变慢(prompt 长度、缓存未命中、排队)
- 每回合思考变长(要重读更多历史)
- 完成所需回合变多(模型丢失了信息在重新发现)
典型退化路径:历史线性增长 → 工具返回把文件内容和搜索结果灌进窗口 → 触发压缩 → 细节丢失 → 模型重读丢失内容 → 回合数上升。谁更早卸载上下文(子 agent、外部文件、摘要),谁就显得稳定,即使单回合并不更快;prompt 缓存命中率也符合这一逻辑——同样的权重,不同的上下文策略,体验截然相反。
作者认真对待的反驳:稳定可能只是因为它更早放弃你。压缩即遗忘,被悄悄摘要塑形的长任务会显得快但后期漂移。若如此,正确指标不应是体感速度,而应是最终质量 × 总 token。
作者向社区提问:你在长会话中见到退化吗?是三种慢中的哪一种?逐回合记录 token 用量能否让它显形?有人在真实测量过,还是全凭感觉?
「编程与Agent」频道最新
- 开发者用 system-one 小模型替换大模型分类器， hobby 项目省 token 成本 — zeeg · 2026-11-03
- OpenAI 与 Anthropic 一周内六次改动客户规则，如何搭建防断裂工作流 — brucemacv · 2026-11-03
- 10 人公司 Spawn 30 天提交 7.7 万次变更,AI 花费达薪资 30 倍 — TAbrodi · 2026-11-03
- 巴西网友的 agent 自动抢到 Pitbull 演唱会半价票 — xgikitica · 2026-11-03
- AgentTime 基准 v1.1:GPT-6 Astra 时间感知居首,Claude 系陪跑 — maksym_andr · 2026-11-03
- Trajectory 发布后训练平台：几个 agent 提示词即可训练万亿参数模型 — yenkel · 2026-11-03