新论文用博弈论刻画 AI 助手困境:不知对话者身份时如何兼顾有用与无害
conitzer · x · 2026-10-21
Vincent Conitzer(AAMAS 等领域知名学者)团队发布由 Ida Mattsson 领衔的新论文,研究 AI 助手在「有用」与「无害」之间的博弈论极限。
核心问题:当助手不知道自己正在和谁对话(用户、第三方、还是被滥用地询问),要在有帮助和不造成伤害之间取得平衡存在根本性的理论限制。论文从博弈论视角形式化这一困境并给出边界结论,与模型对齐中的「防信息滥用」问题直接相关。
「安全」频道最新
- OpenAI 研究:o3 能察觉自己正被测试,减刑式通过安全评估 — alex_verem · 2026-10-22
- eCHUDhra 上线:一条 curl 命令检测终端/容器是否信任泄露的 eMudhra 证书 — SuB8u · 2026-10-21
- Transformer 专栏实测:简单越狱即可让 Claude 教你操纵选举 — ShakeelHashim · 2026-10-21
- 数日内四起安全事件:LiteLLM 遭供应链攻击,AI 让黑客更快更廉价 — Yuchenj_UW · 2026-10-21
- php2shell 漏洞发现者之争:@lcfr_hax 被确认为首个发现者 — basedjensen · 2026-10-21
- 中国模型写不安全代码的争议说法,谁来做个无利益相关的实验? — dbreunig · 2026-10-21