人设提示词让模型在 SIMNER 基准一律锁 35%,换模型也没用
amplifiedamp · x · 2026-10-29
人设提示词「Annette」让不同模型在 SIMMER 基准上得分惊人一致
- 帖主指出,给模型套上名为 Annette 的核心人设 prompt 后,无论底层跑的是 Claude 还是 DeepSeek,SIMMER 烹饪基准成绩都稳定在 35% 左右。
- 配图展示了 2,200 次确认试验的结果:DeepSeek 官方 profile 为 36.7%(220/600),Claude Code 的 Fable 5.1 与 Opus 5.5 profile 均为 35%(各 35/100),而 GPT-6.1 Sol profile 仅 19%。
- 中性提示词(绿点)下各配置得分从 17% 到 53% 不等,说明人设层可能成为压平模型差异的主导因素。
- 图注提醒:区间为未调整的 95% 聚类自助重采样,重叠不代表有显著性差异;Claude Code 含原生回退与 advisor,Opus 对 parser 较敏感。
「模型」频道最新
- hunch 开源：无需 GPU 约 20ms 完成类 Jev 决策，基于 EmbeddingGemma — iamrobotbear · 2026-10-29
- 爆料称 DeepSeek 官方 API 将剥离网络攻击能力,需监管审计申请 — teortaxesTex · 2026-10-29
- Vitalik:AI 知识渊博却缺智慧,首次读文本只做表层判断 — paulnovosad · 2026-10-29
- 本地可跑的高能力开源模型久未更新，Qwen 27B 仍是最佳？ — emax · 2026-10-29
- 爆料：继 Carbon 后新模型已就绪，只等 OpenAI 与 Anthropic 出招 — iruletheworldmo · 2026-10-29
- 用户吐槽：Docs 里的 Gemini 与 SOTA 榜上的 Carbon 判若两模 — rdesh26 · 2026-10-29