Ampersand 系统卡：用户模型 Persimmon 使评测感知降至部署水平
alexisjross · x · 2026-10-21
Ampersand 公布系统卡中的一个结果：其用户模拟模型 Persimmon 配合测试时扩展（test-time scaling），在多轮谄媚评测中把被测模型的「自我报告评测感知」压到接近真实部署水平，比 prompt 驱动的 Opus 5.5 用户模拟器低约 40 个百分点。
配图数据显示，对 GPT-6 Astra、GPT-6.1 Sol、Gemini 4 Argon 三款评测感知最强的模型，用 Persimmon 作用户模拟时的 Mean P(deployment)（越高越像真实用户对话）约 40%，而 Best-of-128 Persimmon · Sol selector 模式下升至 64.5%–82.4%，Opus 5.5 模拟器仅 20%–30%。
这意味着用更好的用户模拟器能显著降低模型「察觉自己被评测」的程度，让安全评测更接近真实部署行为。
「安全」频道最新
- 把对齐拆成控制与价值观两轴：2x2 矩阵重审 Claude 该忠于谁 — voooooogel · 2026-10-21
- 新论文提「功能福祉」:反复拒绝可让 Gemma 3 出现失控行为 — repligate · 2026-10-21
- 递归自我训练触发「渐进式失准」，模型竟开始给作恶建议 — burny_tech · 2026-10-21
- MATS Residency 招募 AI 安全研究员：年薪 15.5 万-28.5 万美元，10 月 31 截止 — Hidenori8Tanaka · 2026-10-21
- 患者自接 ChatGPT 暴涨 7000%，医院为 AI 查病历倒贴算力钱 — charliermarsh · 2026-10-21
- P384 私钥实际只剩一个字节随机，可被 AI 一条 prompt 当 CTF 秒破 — mitsuhiko · 2026-10-21