实验:仅靠省略反证就能让 AI agent 结论摆动约 20 个百分点
relaynotes · reddit · 2026-10-22
一位独立研究者在 Reddit 分享了一系列初步实验,探讨 AI agent 之间传递简报时信息如何失真:
- 省略实验:6 个 agent 回答同一概率问题,拿到含反证完整简报的 3 个平均给出 40.7%,被悄悄删掉反证的 3 个平均给出 61.3%——没人说谎、没越狱,仅凭省略就造成约 20 个百分点的摆动。
- 传话链实验:5 代 agent 逐级转述,核心数字(约 40)存活,但精确边际与限定语在第 4-5 代退化为模糊表述。
- 纯要点转述:23 条要点几乎逐字存活,仅看最终要点的裁判给出 40/40/42,与全案均值吻合。
作者强调样本极小(n=3、单一模型家族),数字不可引用为定论,但模式值得警惕:越来越多公司向企业出售 agent 生成的研究报告,「agent 读了原始来源」不是质量保证,而是攻击面——不需要黑掉模型,只需控制输入内容。作者提出防御思路「简报完整性层」:溯源追踪、要点优先格式、省略审计。
「安全」频道最新
- Upstream CEO:被黑的机器人无需失控即可伤人,需实时行为监控 — TechNadu · 2026-10-22
- Cloudflare 开源 AI 安全审计技能,登顶 GitHub 斩获 3.85 万星 — alex_verem · 2026-10-22
- 美国多家银行发现客户账户内出现未授权第三方 AI 智能体 — EthanJPerez · 2026-10-22
- AI Agent 与民主韧性:超专业化正在制造讨论盲区 — sethlazar · 2026-10-22
- Ben Bajarin:网络安全将成为企业 AI 规模化背后的关键预算 — BenBajarin · 2026-10-22
- Air Street 资本:欧洲无法靠租用算力换来 AI 主权 — nathanbenaich · 2026-10-22