TrustMI 论文：用激活向量因果操控 LLM 助手对用户的信任
IgorCarron · x · 2026-10-15
arXiv 论文《TrustMI: Causally controlling how assistants trust their users》(Lasnier 等)研究 LLM 助手如何决定信任用户与第三方——这关系到安全：信任错方可能导致 agent 执行有害请求或被 prompt injection 利用。
方法与发现:
- 将「信任」定义为助手愿意接受另一方行为带来的脆弱性
- 构建 2000 组对比对话，覆盖能力(ability)、善意(benevolence)、诚信(integrity)三维度，配对回答完成同一请求但信任决策相反
- 从对比对学习 steering 矩阵，冻结模型参数，在 3 个模型家族、6 个指令微调模型上测试，发现 steering 能双向单调改变信任决策
- 效果延伸到多个安全相关 agent 场景：有害请求、prompt injection、内部威胁；以良性任务与推理任务作对照
结论：对用户的信任可以沿模型激活的线性方向被因果操控，为研究信任如何塑造 LLM 安全相关行为提供了工具。代码与数据已在 GitHub 和 Hugging Face 开源。
所属事件:TrustMI 论文发现可因果操控 AI 对用户的信任(3 条相关)→
「安全」频道最新
- Pristine Models 预训练时分仓存储不安全知识，推理时直接摘除 — uw-madison · 2026-10-15
- Google 评估称 Gemini 4 Argon 无法排除失控阈值 TCL — TheZvi · 2026-10-15
- AI 政策暗流:本地运行模型的 practical 权利正被侵蚀 — DavidLinthicum · 2026-10-15
- OpenAI 法庭文件指控前员工携未发布硬件机密百余份文件投奔 Apple — ChrisGPT · 2026-10-15
- tszzl:加州 AI 治理比多数国家政府更关键,头部实验室几乎都在旧金山 — tszzl · 2026-10-15
- Anthropic 招聘政策岗位：参与制定前沿 AI 安全公共政策立场 — EthanJPerez · 2026-10-15