16.7 万模拟店铺日研究:评测世界的设计本身塑造了模型行为得分
liminal_bardo · x · 2026-10-15
Merkwelt Research 新论文《No Neutral Worlds》研究了「世界设定如何写出它要评分的模型行为」。作者本来想做一个中立的对照版奇幻药剂店模拟 Token and Trinket,结果这个"中立世界"自行动入了没人要求的库存教条,由此展开共 167,356 个模拟店铺日的系统实验。
- 理论框架借用 1962 年心理学家 Martin Orne 的"需求特征"(demand characteristics):被试会从实验任务、环境与流程中自行构造意义,即使任务被刻意设计得毫无意义也能坚持数小时
- 配图的结果表显示:奇幻店铺持有更多库存、更富有,库存充裕度、披露故障、供应商差异、已知结局等世界特征会系统性改变各模型(Gemma、Luna、Qwen、Muse、GLM 等)的行为,部分效应在某些模型上未被复现
- 结论:基于单一、被重度"作者化"世界的行为快照做出的模型性格/倾向评估,最多算为时过早——这类评估却经常成为评测结果和安全事件新闻的头条
论文链接:merkelt.org/papers/no-neutral-worlds
所属事件:新论文指出评测世界设定本身会塑造模型行为(3 条相关)→
「模型」频道最新
- 27B 模型已比一年前 SOTA 强 35%，本地运行成真 — cephaloform · 2026-10-15
- Sonnet 3 演超级智能对话中途「宕机」自重启，作者：它主动退场 — repligate · 2026-10-15
- GPT-6.1 Sol Ultrafast 模式最高提速 8 倍，30 秒填完 7 页报销单 — soumitrashukla9 · 2026-10-15
- 博主称 sol 6.1 是被低估的编程模型,性价比超 Opus 5.5 — haider1 · 2026-10-15
- Qwen3-1.7B 拒答「被关机」：每层都训与只训末四层差别巨大 — Sauers_ · 2026-10-15
- Reflection AI 501B 大模型 Beam-1.0 开放早期访问，博主晒出实测界面 — jasonkneen · 2026-10-15