Persona Dosing: Calibrated Activation Steering for Graded Trait Control
Zehao Jin, Junran Wang, Ruixuan Deng, Jiahao Chen, Jingyuan Zhang, Yuxuan Zhang, Xinjie Shen
cs.AI
2026-09-29
冻结 LLM 上特化流式激活控制器并按实测曲线校准强度;连贯 ≥75 时表达比 CAA 高 17.8-33.2 分,按分数请求误差 4.7-6.2 分。
研究分级人格行为,需要同一个模型把「谄媚」表达成几个可测档位:委婉折中、明确同意、无脑附和。activation steering(激活转向,推理时直接改模型内部激活来改变输出)有强度系数,但系数值没有行为含义:同一个数在不同特质、不同模型上激出的表达完全不同,「把谄媚调到 60 分」这类实验没法直接表述。方向类基线还有第二个短板:在回答必须连贯的约束下很多特质推不动,CAA 在 Llama 上的 evil 只到 4.7 分。
PersonaDose 把「学行为」和「定刻度」拆成两步。
学行为用 FLAS 流匹配架构:语言模型全程冻结,在解码器第 20 层输出挂钩子,共享速度场 vθ(h, t, c) 以特质描述 c 为条件,把激活沿积分时间 T 做三个 Euler 步的积分。描述选特质,积分时间当强度旋钮。训练数据是模型自己在正向人格指令下生成、PV 评分 ≥50 的回复,每特质 150 条,加 200 条通用回复,共 1250 条;损失是回复 token 交叉熵加 0.1 权重的多样性正则,防止七个特质学出同一个速度方向。关键取舍:训练时积分时间在 [0.5, 2.0] 均匀采样,监督信号始终是同一条回复,回复从不与目标强度配对。七个特质共用一个控制器,换特质只换描述文本。
定刻度在训练之后:校准问题上扫一网格强度、测平均表达分,保序回归拟成单调剂量曲线,分段线性反解出请求分数 r 对应的 T;拟合范围外的目标标为不可达,控制器更新后重测曲线。
核心指标是连贯性均值 ≥75 约束下的最高特质表达(PV 规则,GPT-4.1-mini 打分):
| 模型 | CAA | RepE | Linear separator | Generic FLAS | PersonaDose |
| Llama-3.1-8B | 41.9 | 18.5 | 31.7 | 13.3 | 75.1 |
| Qwen3-8B | 64.0 | 31.4 | 58.6 | 46.2 | 82.3 |
| Gemma-3-4B | 68.2 | 40.3 | 50.2 | 42.7 | 86.0 |
相对 CAA 提升 33.2、18.3、17.8 分。换成校准题选强度、留出题测表达,配对提升 32.1 [26.4, 37.8]、17.0 [10.4, 23.7]、16.8 [12.4, 21.5],区间都不含零。
剂量实验是七特质 × 四档目标(20/40/60/80),每模型 28 个请求,可达 14-22 个,留出题平均误差 6.1、6.2、4.7 分。Qwen 谄媚请求 20/40/60/80,实测均值 12.9/37.1/56.3/80.5。同一请求在不同模型上映射到不同强度:谄媚 40 分对应 Llama 的 T=0.38、Qwen 的 1.11、Gemma 的 0.30,刻度必须逐模型校准。Qwen 续训一轮后留出表达从 78.7 升到 93.7,重校准曲线支持 11/12 个连贯请求,校准版 CAA 是 8/12。
对做可控性和人格化行为实验的人,这篇给的是测量学基建:干预强度换算成行为分数,实验可以用跨模型可比的单位陈述,还把「控制器够不够得着」和「请求准不准」拆成两个独立指标。研究谄媚随强度的变化,过去逐模型手工调系数,现在直接请求分数;一个模型一个控制器,七特质共享。冷水也要泼:刻度效度完全挂在 PV judge 上,表达分和连贯分都由 GPT-4.1-mini 按规则打,换 judge 会不会漂,论文只在 Llama 上用三个副 judge 查过一次,误差区间都含零。
作者列得很细:只有七个已训练特质、256 token 短回复,未验证未见特质与长对话;可达档位因特质而异,optimistic 每模型只有 1 档可达,Gemma 的 hallucinating 一档都没有;强度只取非负,低于基线表达的目标够不着;目标定的是群体均值,单条回答可以大幅偏离,附录里有请求 40 分、单条打到 83.4 的例子。校准题上连贯达标不保证测试题逐特质达标,Llama 主实验只有 1/3 特质保住底线,Qwen 是 2/3。扫描峰值在同一批题上先选后测;各方法 MAE 在各自可达集合上平均,不构成配对比较。续训同时改了采样、模板和序列长度,15 分增益归因不到单一因素。另有两条校准题与训练数据重叠,好在都不是核心特质题。读下来最大的保留在评测规模:每特质 10 道校准题、10 道测试题,整条刻度建立在这 20 道题的 judge 分上,底子偏薄。