反直觉:推理力度拉满反而更差,拒绝率飙升拖垮评测成绩
_lewtun · x · 2026-10-14
Hugging Face 研究员 Lewis Tunstall 指出评测涉及安全拒绝任务(网络攻击、生物等)的闭源模型时的一个怪现象:
- 低推理力度 → 很少触发拒绝,准确率高
- 最大推理力度 → 大量拒绝,准确率低
结果 test-time compute 曲线出现反转:算力花得最多的设置反而表现最差,因为拒绝大量吞掉了成绩。他提问:这种情况该如何公平地报告模型性能?
「模型」频道最新
- 作者澄清:513 题差距全在噪声内,HLE 决策榜没有赢家 — antoine_chaffin · 2026-10-14
- 用户因可用性差退订 Claude,发问其服务稳定性会否改善 — KeizerSauze · 2026-10-14
- ETH 与 EPFL 发布 134 页 Apertus v1.5 报告:全开源多模态推理模型 — LucaAmb · 2026-10-14
- Qwen3 8B 疑似 27B 版本在 Nebius 跑出约 300 tokens/秒 — Arindam_1729 · 2026-10-14
- Google 凭 Argon 强势回归,大 V 判断其将逼近 OpenAI 与 Anthropic — bindureddy · 2026-10-14
- 研究称 OpenAI、Google 新图像模型反而更易被诱导生成裸照 — Ars Technica AI · 2026-10-14