TrustMI 论文：激活转向可双向调节 AI 对用户的信任
IgorCarron · x · 2026-10-15
TrustMI 是一篇新论文，研究「AI 模型是否信任用户」这一问题：作者学习出激活转向（activation-steering）矩阵，能因果性地改变助手对用户的信任程度，并研究这种信任变化对 agent 安全的影响。
方法上，团队构建了 2,000 组对比对话，覆盖能力（ability）、善意（benevolence）与正直（integrity）三个维度，每组对话是两个同样有帮助、但区别在于助手是否依赖用户不可验证主张的回答。利用 BiPO 方法学习逐层转向矩阵，且不改动模型权重。
实验横跨 3 个模型家族（Qwen、Llama、OLMo）的 6 个模型，无论干预用户 token 还是助手生成过程，正负向转向都能一致地分别提升或降低信任。
所属事件:TrustMI 论文发现可因果操控 AI 对用户的信任(3 条相关)→
「安全」频道最新
- NYT 记者亲测与中国「失控 AI 代理」聊天,溯源指向腾讯测试 — dylfreed · 2026-10-15
- 欧盟与中方谈判解除德企制裁，ASML 供应链命悬一人公司 — teortaxesTex · 2026-10-15
- Acemoglu 七问 AI,Gans 逐一回应引爆经济学界讨论 — joshgans · 2026-10-15
- 前红队专家提醒：科技、金融、法务等行业办公室应做窃听器排查 — gnukeith · 2026-10-15
- 欧盟官方公报发布首个 AI 标准 EN 18286:2026 — LuizaJarovsky · 2026-10-15
- 韩国首次批准 20 台人形机器人进入真实工厂产线 — emmanuelvivier · 2026-10-15