让模型扮演用户易过度分享,两个团队独立发现同一失败模式
niloofar_mire · x · 2026-10-14
研究者 philotor 指出,Humansand 刚发布的 Persimmon 及其配套的 Trickle Test 研究了一种失败模式:当让 assistant 模型扮演用户(user proxy)时,模型倾向于过度分享(overshare)。这与他们团队独立发现的失败模式高度相似。
作者认为这标志着 user modeling(用户建模)正在成为一个真正的研究问题,并希望与从事 user proxy 研究的人交流。
要点:
- 新发布的 Persimmon 模型附带 Trickle Test,用于检测代理用户时的行为问题
- 核心发现:模型扮演用户时会 overshare,泄露超出角色设定的信息
- 两个独立团队得出相似结论,暗示这是系统性问题而非个案
「研究」频道最新
- 经济学家用 AI 智能体模拟发放横财访谈：一个 AI 深陷遗产规划 — soumitrashukla9 · 2026-10-14
- MoE 模型 RL 训练做到零训练-推理不一致,全套开源含消融 — yacineMTB · 2026-10-14
- 1532 例基准测试:前沿 LLM 在压力与利益冲突下更易欺骗 — lulzxdxdxd · 2026-10-14
- 把问题当程序、指标、搜索,再到开放式科学发现 — madhavsinghal_ · 2026-10-14
- elder_plinius 发布 V3R1T4S:用闲置算力攻克开放问题,一切需可验证 — Kyrannio · 2026-10-14
- RigidFormer 入选 NeurIPS：用 Transformer 替代物理引擎模拟刚体动力学 — camenduru · 2026-10-14