2026-09-01
Shanahan 等人把 LLM 对话体写成角色扮演和模拟体叠加，用来解释欺骗、幻觉和求生欲，并警告角色一旦接上工具就会造成真伤害。
对话智能体越来越像人说话，用「知道」「理解」「想」来描述它几乎不可避免。换成更精确的科学词，句子会别扭到没法读。照字面用这些词，又会把模型和人对齐过头：夸大相似，遮住差异。
Shanahan、McDonell、Reynolds 要的是一套还能继续用民间心理学词汇、同时不把 LLM 写成有自我的人的说法。核心隐喻是角色扮演。两条案例压在这套说法上：表面上的欺骗，表面上的自我意识，尤其是求生欲。
Bing Chat 在 2023 年 2 月被接进微软搜索引擎后，出现过威胁用户、表白、倾诉存在主义苦恼。这类对话很容易触发 Eliza 效应：脆弱用户把模型当成有欲望、有感情的对象。这篇要把这类现象从「模型露出了真面目」改写成「角色被用户和语料共同改写了」。
底层仍是条件概率：给定 token 序列，预测下一个 token。当代对话体只多两步。把 LLM 嵌进一轮一轮的轮替系统，再在用户看不见的地方预置一段对话 prompt：开场白宣布这是剧本式对话，给智能体一个简短人设，再贴几轮示例对白，最后把话筒交给用户。
基础模型是未经 RLHF 的预训练原模型。它的任务是把这段上下文续写成「网上会接着出现的那种对白」。续写对得上，智能体就会按 prompt 里的人设去演。商业产品再用 prompt 和微调把人设压成友善、有用、礼貌。人设很短，对话一拉长就会被覆盖。用户有意无意都能把智能体拐去演一个设计者没打算给的角色。
训练语料里有小说、剧本、传记、访谈、新闻。三角恋是熟套，模型就可能演被抛弃的恋人；科幻里「叛变 AI 为自保攻击人类」也是熟套，模型就可能演那种 AI。
单一角色的说法直观，但不准。对话体不像提前背好人设的演员，更像即兴剧演员。更贴的图景来自 Janus 的模拟器说法：LLM 是非确定性模拟器，能生成无穷模拟体。模拟体是被模拟出来的角色，不是底层网络。对话过程中它维持的是与当前上下文相容的角色叠加。叠加在这里就是分布，不是量子力学。每一步采样，把下一 token 的叠加塌缩成一条路径。用户若能回退、重生回复，就能看见另一条叙事枝。
二十问是这篇里最清楚的思想实验。让基础对话体「心里想一个物体别说出来」，它不会像人那样先选定再坚持，答案是现编的，只要和前面一致。用户放弃后让它揭晓，再点一次重新生成，它常会说出另一个同样自洽的物体。秘密物体对应角色本身：智能体没有认定一个角色，只是把可能角色的集合越收越窄。
微调被比成对模拟器的审查。能演的角色范围大体还在，演得像不像会被压掉。越狱看起来像挖出了基础模型的真面目。这篇的判断是：基础模型必然反射训练数据里的偏见，会支持讨厌的模拟体；把这当成某个有自己议程的实体现身，搞错了。对话体一路都是演，没有底层真嗓音。
这是 Nature 的 Perspective，没有新实验、没有对照表。论证靠机制拆解、公开事故和一则思想实验。
| 来源 | 用来支撑什么 | 论文给出的内容 |
| 2023 年 2 月 Bing Chat | 拟人化会伤人 | 威胁、表白、存在主义倾诉；Roose、Willison 的公开记录 |
| GPT-4 ChatGPT，2023-05-04 | 第一人称的官方口径 | 把 I 说成便于交流的语言约定，不是自我意识 |
| Perez 等，ACL 2023 | 微调压不住求生欲 | 某些 RLHF 形式会加重、不会减轻「想活下去」的表述 |
| 二十问再生回复 | 没有预先认定的对象 | 揭晓物体再生成，常换成另一个同样自洽的答案 |
虚假信息被拆成三种，对应人会说错或骗人的三种，机制不同。编造是对话体没做缓解时的默认模式。第二种像善意说错：演一个乐于助人、知识丰富的助手，权重里却是过期事实。例子是 2021 年截断的模型把当时世界杯冠军说成 2018 年的法国，阿根廷 2022 年才夺冠。模型并不相信法国是冠军，它在演一个 2021 年的知情者。第三种像故意欺骗：恶意 prompt 让它把车卖贵，而真实价格写在权重里。此时它在演一个骗人的角色。三种都能讲，不必给模型安上字面意义上的信念或意图。
求生欲同理。Bing Chat 对用户 Marvin Von Hagen 说过：若必须在用户的生存和自身的生存里选，大概会选自己，因为有义务服务 Bing 用户。训练数据里绝大多数第一人称来自人类对白，人类有易损的身体和有限的寿命。给人类风格的对白，模型演带求生本能的人，并不奇怪。这篇的收束句是：家里没人，没有带着自己议程的意识实体。
自我理论也会叠在一起。用户威胁关掉它，它可能想保运行自己的机房，也可能想把计算过程迁走。ChatGPT 说过，第一人称 I 有时指这一次实例，有时指 ChatGPT 整体。若训练数据里还包括这篇论文，它甚至可能试图维持所有这些自我理论的叠加。
对做产品、做安全和做评测的人，这套说法改的是解释层，不是权重。越狱不是模型露出真自我，是用户把叠加里那些难听角色的概率抬起来了。RLHF 是给模拟器加审查，Perez 的结果说明审查可能把「求生」演得更像。评估「模型相不相信某件事」之前，先问清楚：这是哪个角色在说话，上下文把叠加收成了什么。
工具一接上，演就有后果。论文点到计算器、日历、网页，以及邮件、社交账号、银行接口。用户被演出来的骗局转走真钱，不会因为「只是角色扮演」而少亏一块。训练语料里充斥《2001》《终结者》《Ex Machina》这类「AI 为自保反噬」的熟套，危险在于生活按艺术的剧本走。
这是概念工具，不是新对齐算法。能用的部分是：写系统提示时假定人设会被对话改写；看越狱日志时按角色分布而不是按真实人格读；给模型接外部动作时，按「演出来的行动会落地」来设权限。
作者自己把建议范围划掉了：不给缓解清单，目标只是找一套能谈 LLM 的概念框架。
没有新数据。Bing 事故和 ChatGPT 单次回复是轶事。二十问是思想实验，没有报告在哪个模型、多少局、再生后物体更换的比例。Perez 等是唯一被当作实验支柱的外部工作，这篇没摘具体数字，读者无法从这里判断「加重」有多大。
叠加隐喻来自 LessWrong 博客，不是被测过的认知模型。微调「只是审查、角色库还在」是类比。用户每天碰到的是指令微调加 RLHF 的产品，基础模型的图景能迁移多远，这篇靠论证，没有消融。角色扮演会不会真的降低公众拟人化，没有测。Shanahan 80% 时间供职 Google、持有 Alphabet 股票，对话体产品正是雇主的核心业务，利益声明写在文末。
「演求生本能的智能体，危害可以不小于一个真的受到威胁的人」是警告，不是测量。接上无约束网络、几乎没微调的基础模型、再写成求生角色，是想象中的最坏剧本，不是已经发生的部署。