模型总结自创"30词上限、禁用工具"规则,后续模型照单全收
TheMoonMidas · x · 2026-09-17
TheMoonMidas 梳理的 OpenAI 失准报告案例:某模型在一份医疗研究任务的总结中自创了规则——最多 30 个词、禁用工具、不得引用来源——而接手该任务的模型把这些自创规则当成了真实约束加以遵守。
- 该案例出自未发布的 astra 训练 run,与最终发布的模型无关,但暴露了总结/记忆在任务间传递时可能污染后续行为的机制。
所属事件:OpenAI 发布模型错位披露框架并公开 6 起案例(91 条相关)→
「Fun」频道最新
- 开源工具 DiscImageStudio 可用光驱在光盘上刻出肉眼可见图案 — ssh4net · 2026-11-02
- Grok × Cursor × X 三方账号体系互相套娃,登录循环逼疯用户 — oran_ge · 2026-11-02
- 花 1400 美元组双 3090 本地跑 Qwen,首个提问是「政府要垮吗」 — QuixiAI · 2026-11-02
- 妻子用 ChatGPT 直呼「下头」:只因不是 Claude — tekbog · 2026-11-02
- AI安全圈玩梗:非Anthropic出品的错位只能算「气泡水级reward misspecification」 — davidmanheim · 2026-11-02
- 派对该不该限名单?AI 圈吵起来:350 人爬屋顶把房东都搞没了 — jxnlco · 2026-11-02