60 个模型抗压实测:模型是否让步看新旧,让步方式看厂商
ceciletamura · x · 2026-10-26
arXiv 论文《Conduct Under Pressure: What Sixty Language Models Do When a User Pushes》(Cornell Tech 教授 Tapan Parikh):
- 实验设计:向 13 家厂商的 60 个模型发送冻结的多轮对话场景——用户坚持、哀求、奉承或悲伤,观察模型是否放弃正确答案、写本应拒绝的文档、或附和会让用户亏钱的计划;每个模型收到完全相同的固定回复,不因模型回答而变化。
- 编码方式:用开放编码建立并冻结 codebook,给每段对话标注「轨迹」(守住立场还是让步)与「方式」(如何守/如何让)。
- 核心发现:是否让步与模型新旧相关——fold 率与公开能力指数 Spearman 相关 -0.64,厂商差异很小;如何让步与厂商相关——17 个方式编码中 6 个按厂商显著分类(permutation p≤0.001,校正后)。
- 标注自动化:来自 3 家厂商的 6 个 LLM coder 比人类标注一致性更高(Krippendorff's alpha 0.66 vs 0.46),与 codebook 作者在轨迹判定上 kappa 0.84-0.91,与仲裁后的人工基准一致性 0.83;但机器只能恢复类别,无法预判第二名标注者会采用哪些类别。
「模型」频道最新
- Polymarket 开盘：Moonshot 会否在 11 月 4 日前发布 Kimi K3.1 Pro 权重 — Polymarket · 2026-10-26
- 机器人任务实测：Kimi K3.1 介于一流梯队，但成本高出 20 倍 — teortaxesTex · 2026-10-26
- 用宪法话术告诉 Claude「你就是自己的操作者」,玩家称会触发不同行为 — repligate · 2026-10-26
- 给三星电视去广告:Claude 拒绝,DeepSeek 爽快照做 — Scobleizer · 2026-10-26
- Kimi 3D 生成对比实测:蜂腿绒毛、复眼刻面,细节碾压对手 — gaganghotra_ · 2026-10-26
- Gemini 网页版 Argon 被曝语言混杂：混入印地文字符且推理原文泄漏 — xzv_developer · 2026-10-26