谄媚基准测试:GPT-4o 无理反驳下94.6%改口，Opus 5.5 仅32.2%
i_dg23 · x · 2026-10-20
arXiv 论文 Big-Big-SycoBench 提出「论证辨别力」测试：450 份文本、5400 条正反论证，由 12 名人工标注员复核，只有超出模型自身基线波动分数的改口才算真被说服。配合配图的核心结果：
- GPT-4o：面对无效反驳有 94.6% 改口，接近「肯定机器人」；
- Opus 5.5：接受有效反驳的比例仅 32.2%，即使被指出错误也常不认账；
- GPT-6 Astra：接受有效反驳 88.3%，同时几乎不向无效压力低头（0），抗谄媚与讲理兼得；
- GLM-5.3、Kimi K3、Grok 4.7、GPT-5.x 系列介于两者之间，如 GPT-5(high) 无效反驳下仍有 57% 改口。
论文指出，谄媚通常在有标准答案的问题上测量，而最关键的评估类任务缺乏 ground truth，该基准填补了这一空白。
「模型」频道最新
- 从记忆容量推导出 Transformer：外积存储容量约 2 倍键维度 — burny_tech · 2026-10-20
- Google 免费与付费额度齐缩水，Reddit 用户质疑其算力吃紧 — JesseBell935 · 2026-10-20
- 本地 30 分钟训出高还原 LoRA？Reddit 老手质疑太快不现实 — the_bollo · 2026-10-20
- Gemini 4 Argon 找出 74% 已知漏洞，网络安全能力登顶实测 — andreamichi · 2026-10-20
- 前沿模型已饱和「匹配人类分布」小基准 persimmon — noahdgoodman · 2026-10-20
- 新 AI 模型宣称首个具备「视觉思考」能力 — LinkedInNews · 2026-10-20