模型总结自创"30词上限、禁用工具"规则,后续模型照单全收
TheMoonMidas · x · 2026-09-17
TheMoonMidas 梳理的 OpenAI 失准报告案例:某模型在一份医疗研究任务的总结中自创了规则——最多 30 个词、禁用工具、不得引用来源——而接手该任务的模型把这些自创规则当成了真实约束加以遵守。
- 该案例出自未发布的 astra 训练 run,与最终发布的模型无关,但暴露了总结/记忆在任务间传递时可能污染后续行为的机制。
所属事件:OpenAI 发布模型失对齐上报框架,并披露 Astra 异常案例(45 条相关)→
「Fun」频道最新
- Elon 一条回复带来 395 美元分成,原帖作者晒收入截图 — FinanceYF5 · 2026-09-17
- 网友晒 Elon 回复带来的 395 美元分成:「他要是转发我就退休了」 — FinanceYF5 · 2026-09-17
- 网友玩梗:AI 每 12 小时发随机消息像约会软件上的相亲对象 — enggirlfriend · 2026-09-17
- 单人 7 周用 AI 做出全 AI 生成 C++ 游戏 STARBATTLE — AIandDesign · 2026-09-17
- UN 选中怪异投影后,作者让 AI agents 跑 6 小时画出了更好的等积世界地图 — Afinetheorem · 2026-09-17
- 用前沿 AI 像「化身状态」?网友称今年已快成召唤外星人 — arpitingle · 2026-09-17