Claude 复核论文数据:SSR 并非排名主因,1-5 评分基线同样达 89.6%
scaling01 · x · 2026-11-22
scaling01 引用 Claude 对某篇市场研究/排行榜论文附录的复核结果,指出被热议的 SSR(图像刺激+二分选择)方法并非驱动排名结论的关键:
- 附录 Table 1 显示,用 GPT-4o 对纯文本概念做普通 1-5 评分即得 89.6%,与头条的 SSR 成绩(90.2%,图像刺激)持平,还高于同样文本输入下的 SSR(82.5%)。
- 在图像输入 + Gemini 的设置下,「第二个 LLM 直接给数字」这一朴素基线反而略胜 SSR:92.1% vs 90.6%。
结论:SSR 真正可靠改善的是分布直方图的形状,而非哪些产品排名靠前。这是对论文方法论声明的实锤质疑,对做模型评测/市场调研的人有参考价值。
「模型」频道最新
- OpenAI 工程师确认 GPT-Live 缓存亲和 bug,周一将推修复 — pbbakkum · 2026-11-22
- Claude Code 把 Kimi K3.1 当 200K 模型:95 次测试自动压缩 148 次 — zainhas · 2026-11-22
- 早期用户实测 Gemini Neon:盲测最大短板是速度与输出 token 过多 — bindureddy · 2026-11-22
- Inkling 2 Mini 登顶性价比榜:26B 循环 Transformer,每千题成本最低 — TheZachMueller · 2026-11-22
- 425MB 决策模型跑 CPU:自研 4bit 量化仅损 0.18pp 精度、快 2 倍 — Danmoreng · 2026-11-22
- Reddit 热议:OpenAI、Anthropic、谷歌模型为何回答如出一辙 — retrorays · 2026-11-22