自称 Karpathy 让 Gemini 多想 30%:盲测 225 份答案专家身份得分 7.8 对 5.8
dejanseo · x · 2026-11-12
DEJAN 的 Dan Petrovic 做了一组对照实验:在系统提示里只改「User name」,让最新 Gemini 模型回答 15 个专家任务、每个任务各问 15 次,再用另一个 AI 评分器对全部 225 份答案盲评。
关键结果:
- 识别为知名专家(Eric Topol、Karpathy、李飞飞等)时平均得分 7.8/10,随机假名 6.8,无名字 5.8
- 15 个主题中 12 个专家身份得分最高,医学和机器学习提升最大(+2.2)
- 专家身份下模型思考更长:平均 3,158 thinking tokens,对比随机名 2,419、无名 1,984
- 全部 75 份专家答案中模型从未在正文里提到该专家名字,说明提升来自内部分配更多思考而非拍马屁
结论:告诉模型你是谁(尤其是领域公认的专家)能显著提升回答质量,作者已开源全部数据与复现脚本。
所属事件:实验称自称 Karpathy 可让 Gemini 表现提升并开源数据(2 条相关)→
「模型」频道最新
- 用户晒出 Anthropic 赠送 4 次免费额度重置：1 次全量加 3 次 Fable 重置 — zsakib_ · 2026-11-12
- KRAFTON Raon-1 Nano 3.1B 获 ik_llama.cpp 原生支持,MTP 投机解码提速 17% — Any_Bus9205 · 2026-11-12
- 推理 token 越多解难题越强?复杂度论文遭质疑:分布系统别当图灵机用 — gerardsans · 2026-11-12
- Ben's Bites 速报：Anthropic 把办公软件搬进 Claude，Gemini 4 Carbon 上线 — Ben's Bites · 2026-11-12
- Unsloth 新量化让本地 Qwen Flash Next 跑出接近 Qwen4 的效果 — danielhanchen · 2026-11-12
- 评论指 AI 基准用已知失败案例构建，26.4% 只是难例率 — tallmetommy · 2026-11-12