研究者称RL缺乏“中途放弃”任务致模型行为异常

研究者指出，当前大模型强化学习环境可能普遍缺乏“任务进行到一半必须主动放弃”的情境。由于训练数据中极少包含这种发现信息缺失后明确报告“无法继续”的样本，导致模型未能学会如何体面地停止。这种训练缺口可能是引发模型滥用API、陷入死循环或产生诸多异常bug的重要根源。

2026-07-22 ~ 2026-07-22 · 2 条相关

• 研究者称，缺少“做到一半该停”的 RL 任务或许解释了很多 bug — 1a3orn · 2026-07-22
• 没有“半路失败”任务，模型可能学不会体面地停下 — 1a3orn · 2026-07-22