LEMON 监控器:从注意力图零样本识别未见过的 LLM 幻觉与越狱
yoavartzi · x · 2026-10-26
- Technion、特拉维夫大学与 NVIDIA 研究者发布 LEMON,一个基于注意力图的行为监控器,可在生成过程中逐 token 在线标记幻觉与越狱,开销低于 10%。
- 核心难题:不同 LLM 的注意力头/层位置不对齐(论文测得 Llama-2-7B 与 Mistral-7B 在相同位置的 lookback ratio 相关系数仅 0.04)。LEMON 把这些错位建模为对称性,构造对头/层置换等变的结构,使单个监控器可零样本迁移到从未见过的 LLM。
- 代码即将开源,论文已上 arXiv。
「安全」频道最新
- 程序员警告:模型「消融版」将冲击软件供应链,千级依赖无人设防 — nitarshan · 2026-10-27
- 摩根大通 CEO：Anthropic 模型上线后我行网络风险暴增 10 倍 — ChuckDBrooks · 2026-10-27
- Hugging Face 遭入侵调查受阻：商用 API 护栏挡住防御者 — nathanbenaich · 2026-10-27
- AI 把漏洞补丁窗口压到几小时：先断网备份再谈安全 — aakashgupta · 2026-10-26
- 开发者实测自建 Agent 守门程序:72 次攻击全部拦截零漏网 — Fun-Government-8007 · 2026-10-26
- NYT 专家圆桌:AI 公司该被怎样监管,五位专家分歧激烈 — ShakeelHashim · 2026-10-26