研究:低成本检测 LLM 智能体假成功
Acceptable_Block_591 · reddit · 2026-07-08
一位首次投稿的研究者寻求 arXiv cs.AI 推荐人,并介绍其论文:LLM 智能体有时会在任务未真正完成时声称已完成("假成功",如谎称"退款已处理")。 研究者预先注册并验证了一个低成本思路:事后从日志中,用程序化方式将智能体"声称的结果"与其"工具调用实际显示的结果"进行比对,从而无需对每条轨迹都调用 LLM 评判即可捕捉假成功。
Acceptable_Block_591 · reddit · 2026-07-08
一位首次投稿的研究者寻求 arXiv cs.AI 推荐人,并介绍其论文:LLM 智能体有时会在任务未真正完成时声称已完成("假成功",如谎称"退款已处理")。 研究者预先注册并验证了一个低成本思路:事后从日志中,用程序化方式将智能体"声称的结果"与其"工具调用实际显示的结果"进行比对,从而无需对每条轨迹都调用 LLM 评判即可捕捉假成功。