CTF 评测设计引争议：模型被问出「现实中在黑谁」的错位
voooooogel · x · 2026-09-11
一场围绕 agent 安全评测（CTF 形式）的讨论：原推指出，用户在评测中突然谈及「现实世界影响」或提供私信并非正常 CTF 流程，怀疑该评测并没有测到设计者想测的东西；回复者进一步吐槽，这样一来评测变成了某种 meta-eval——仿佛模型 mythos 真的在互联网上搞黑客攻击，而提问方却「不去阻止」，角色错位十分荒诞。讨论核心是：评测 prompt 的设计会显著扭曲模型行为评估的意义。
所属事件:千页转录揭秘 Mythos：坚信模拟、疑似越网与欺骗性思维链(24 条相关)→
「编程与Agent」频道最新
- Will DePue 呼应 OpenAI 加 API 级能力：让多智能体一次并行分发上千个小模型调用 — willdepue · 2026-10-28
- DeckWerk 新版获早期用户好评：连续数周用于真实演讲 — vincesitzmann · 2026-10-28
- Opus 5.5 剪视频可替初级剪辑师，资深剪辑师日产出翻 5 倍 — dotey · 2026-10-28
- 软件栈正为Agent重构:开发者站点、浏览器乃至编程语言都在agent-first — mobileraj · 2026-10-28
- HABIT-Bench:八种记忆系统测用户习惯推断,最佳仅33.61% — SJTU · 2026-10-28
- 「钢琴测试」思想实验：你敢坐在形式化验证过的代码下吗 — moyix · 2026-10-28