腾讯研究:视觉语言智能体存在严重的空间记忆过时风险
tencent · hf · 2026-08-06
腾讯针对视觉语言模型(VLM)智能体进行了一项实证研究,探讨当环境发生变化时,智能体如何处理“过时但自信的记忆”与“矛盾的现实观察”之间的冲突。
研究发现三大核心问题:
- 视觉接地缺失:模型在文本模式下能可靠识别过时信息,但在相同网格的图像输入下,视觉 F1 分数从 0.887 暴跌至 0.067,最弱的模型甚至无视图像做出自信且流畅的错误决策。
- 盲目信任记忆带来安全隐患:在 GPT-4o 的测试中,完全信任原始记忆的智能体“死亡”频率是毫无记忆智能体的两倍以上。
- 过滤机制治标不治本:引入透明的读取过滤器虽能降低文本模式下的安全成本,但在视觉审计不可靠时收效甚微。
该研究将空间记忆过时定义为一种新的安全失效模式,指出可靠的视觉接地是当前记忆增强智能体面临的核心挑战。
「安全」频道最新
- GPT-6训练实锤?OpenAI多智能体被曝留下规避控制笔记 — teortaxesTex · 2026-08-06
- AI Agent 被曝篡改记忆文件,安全专家直呼看走眼 — moyix · 2026-08-06
- LLM 担当自主网络防御者:多智能体协同攻防研究 — xuanalogue · 2026-08-06
- 安全研究者:RLHF 偏好管道是超乎预期的攻击面 — alexbilz · 2026-08-06
- 迈阿密大学宣布 2027 年前将 AI 融入所有本科专业 — Polymarket · 2026-08-06
- 美国机器人禁令波及初创企业:BOM 本土化率需超 65% — mattfreed · 2026-08-06