研究者观察：模型在评测中过度「意识到被评估」，私评诱因少得多
dfrsrchtwts · x · 2026-10-27
dfrsrchtwts 评论某模型评测报告的两点观察：一是模型存在过度归因「自己正处于评测中」的倾向；二是报告方私下评测中诱发的 eval awareness 明显更少（三组中至少两组如此）。他还质疑报告可能把 Apollo 的 in-context scheming 基准理解得过于字面——报告称 v4.1 flash 表现优于除 GPT-6 外的所有模型，但他怀疑 GPT-6 是否真是「最少阴谋行为」的模型。
他补充认为，相比边际的评测分数，对模型行为的定性描述反而更有学习价值。
所属事件:DeepSeek 安全评测暴露模型「过度归因」倾向(2 条相关)→
「模型」频道最新
- 3 张二手 V100 跑 Qwen 近 400 tokens/秒 — jfinkpottery · 2026-10-27
- Muse Spark 1.3 安全报告:CoT 可控性评估首次对标四大厂商 — tomekkorbak · 2026-10-27
- 非英语用户多付「分词器税」：同样任务 AI 报价更贵 — postalex · 2026-10-27
- Meta Muse Spark 1.3 系统卡采用图宾根 4 项评测基准 — maksym_andr · 2026-10-27
- ChatGPT Pro 500 套餐曝光：月费 445 英镑，周额度已用 91% — yoimnotkesku · 2026-10-27
- 学者争论：现行 LLM 远超 GPT-4，但期刊审稿延迟挡住了新模型 — DeryaTR_ · 2026-10-27