More Memory, Worse Agents: Error Reproduction and Anti-Persistence in LLM Agents
Ruhan Wang, Kishan Panaganti, Dongruo Zhou
cs.AI, cs.CL
2026-10-20
Anti-Persistence 只积累轨迹和成败，每题临时生成引导再丢掉，九组平均成功率 59.9%，高于轨迹记忆的 53.5% 和抽象记忆的 49.0%，平均 LLM 调用也最少。
LLM agent 不改参数，靠外部记忆跨任务变强。记忆里留什么，决定留下来的是经验还是错误。只存轨迹，记录的是任务、动作、观察和成败。Reflexion、ExpeL 和各类技能库走另一条：从轨迹归纳规则、摘要和技能，存下来反复用。长轨迹混着可复用步骤和只对一局有用的细节，压短之后更好检索。
抽错就会反噬。错误规则进入当前任务，动作跟着偏；偏掉的轨迹写回记忆，下一轮归纳再写成新规则。旧规则即使没被再次取出，它造成的错动作还在记录里。这条回路叫 error reproduction（错误再生），抽象、执行、再抽象，错误留得比直接复用更久。删掉原规则，清不掉受它塑造的轨迹，也清不掉从这些轨迹再抽出来的规则。
Anti-Persistence（反持久化）把积累和抽象拆开。轨迹和成败持续进库；规则只为当前任务生成，做完即丢，抽象库为空。结果日志只记模式、成败和扣过成本的奖励，不存指导文本。
四个模式。none 把轨迹直接放进上下文，不再合成。imitation 从成功轨迹抽动作模式和适用条件。strategic 整理子目标、工具用法和补救。corrective 按失败轨迹写「不要做 X，因为 Y」，有成功样本就对照决策点；没有失败轨迹则返回空，免得记错账。
选模式是 contextual bandit：看相似任务上，各模式扣过合成成本之后的回报。每多一次合成默认扣 0.05。近邻最多 10 条，旧反馈按 0.998 衰减，试得少的模式按系数 0.5 加分。邻域不像时改走全局最优，阈值 0.7。前 3 轮轮流覆盖四个模式，之后还有 0.1 的随机试探。这条规则没有置信界，也没有遗憾保证。
模式确定后，从轨迹库最多取 5 条。模仿和策略只要成功，纠错要失败，并可加一条成功对照。执行后留下轨迹和模式回报，指导文本扔掉。骨干、提示和选择规则固定。每个基准每轮 50 道训练题，10 轮共 500 条。评测时记忆冻结，单题最多 50 步，超时算失败，留出日志不写回。
基准为 ALFWorld、WebShop、ScienceWorld，骨干为 Llama-4-Scout、Qwen3-Coder-Next、Gemma-4-31B-it。留出集 134、100、60 题，3 个种子。对照包括 ReAct、Reflexion、ExpeL、AutoRefine，以及轨迹记忆、抽象记忆、联合记忆。
九组等权平均，Anti-Persistence 为 59.9%，轨迹记忆 53.5%，抽象记忆 49.0%，联合记忆 49.3%，Reflexion 52.9%。七组里它最高；九组都高于轨迹记忆和抽象记忆，八组高于联合记忆。只存抽象，或抽象再加轨迹，各自有七组不如只存轨迹。
| 设置 | Anti-Persistence | 轨迹记忆 | 抽象记忆 | 联合记忆 |
| Llama / ALFWorld | 54.7±2.9 | 41.6±1.7 | 42.7±1.2 | 33.3±2.3 |
| Llama / WebShop | 46.3±1.8 | 45.3±1.2 | 37.3±1.2 | 35.3±1.2 |
| Llama / ScienceWorld | 30.6±1.0 | 20.0±1.7 | 18.9±1.0 | 7.2±1.9 |
| Qwen / ALFWorld | 96.0±1.4 | 84.4±2.6 | 84.7±2.4 | 81.9±0.2 |
| Qwen / WebShop | 54.0±2.0 | 50.7±1.2 | 38.3±3.5 | 47.0±1.7 |
| Qwen / ScienceWorld | 52.6±1.5 | 43.8±3.7 | 34.0±1.0 | 36.3±0.6 |
| Gemma / ALFWorld | 97.3±1.2 | 96.0±1.0 | 92.7±2.3 | 95.3±3.1 |
| Gemma / WebShop | 53.3±3.1 | 48.0±0.2 | 45.3±4.2 | 51.3±1.2 |
| Gemma / ScienceWorld | 54.1±6.3 | 51.7±1.7 | 46.7±1.7 | 56.3±2.4 |
弱骨干拉开差距。Llama 的 ALFWorld 从 41.6% 到 54.7%，ScienceWorld 从 20.0% 到 30.6%，联合记忆掉到 7.2%。强骨干的 ALFWorld 接近顶，Gemma 上 Reflexion 为 98.0%，Anti-Persistence 为 97.3%；ScienceWorld 上联合记忆 56.3%，高于 54.1%。
四种记忆设计里，平均 LLM 调用（含合成与执行）最少的也是 Anti-Persistence。Llama 的 ScienceWorld 上，抽象记忆 1.33 次、联合记忆 1.15 次，低于 3.56 次，成功率却是 18.9% 和 7.2%。短轨迹和提前失败对得上，原因没有单独证实。Qwen 的 ALFWorld 上，轨迹记忆 10.90 次，Anti-Persistence 11.84 次，成功率 84.4% 对 96.0%。
合成文本丢掉还是存库，四组里丢掉全部更高。Llama 的 ALFWorld 为 54.7% 对 26.7%，高出 28.0 个点，WebShop 高出 12.3；Qwen 高出 3.3 和 6.7。坏规则一旦落库，弱模型掉得更狠。
Qwen 上，bandit 为 96.0% 和 54.0%，高于固定模式与随机选择。ALFWorld 的固定模式里战略最好，WebShop 里模仿最好。γ = 0.998 最高。0.980 时为 90.0% 和 48.7%，0.990 时为 87.3% 和 44.7%，不衰减时为 88.7% 和 48.7%，变化不单调。λ = 0.05 最高，不罚或罚到 0.20、0.50 都会掉点。
AutoRefine 每两轮剪掉后 20% 技能。六组里一胜一平四负，全部低于 Anti-Persistence，而且检索合成不同，隔离不出剪枝。终点六组最高，中间会让位。Llama 联合记忆后期下滑，ScienceWorld 最明显。
技能库默认先把经验蒸馏成规则再沉淀。平均结果对不上：抽象不如轨迹，两者合放也不如。能用的是轨迹照存，规则现做现丢。
现做听起来更费调用，九组平均却最少。none 可以不合成，0.05 的轻惩罚把合成留在该用的题上。Llama 上，丢掉抽象比存着高出 12.3 与 28.0 个点。
这是写入策略的改动。骨干和提示冻着，参数不更新。已经有技能库的系统，可以先比一次「存下来」和「用完即弃」。校验通过后再选择性保留，实验没有做。
间接通道还在。指导丢了，受影响的轨迹还在，下一轮仍可能抽出同一个错误。空的抽象库只挡住直接复用。临时指导一样会进入后续轨迹，并影响模式选择。
前后抽象的关联和下游成败绑在一起，标识不了因果。命题只拆开接触、生成和入库三步，概率为正不等于错误会逐轮变多。图 1 写着，传播变广并不保证发生。
Gemma 的 ScienceWorld 上，联合记忆 56.3% 高于 54.1%；ALFWorld 上 Reflexion 98.0% 略高。WebShop 评的是 100 条指令，原榜测试有 500 条。ScienceWorld 每类 5 道训练、2 道留出，协议和先前工作不同。只有 3 个种子，Gemma 这一格的标准差到了 ±6.3。
γ 离开 0.998 就不单调地变差，0.7 的相似度阈值只在小验证集上定过。模式占比看不出收敛。AutoRefine 改成了单次对比合成，剪枝贡献没单独量出。主表只覆盖家务、购物和小学科学，且训练与留出同族。