隐藏信息评测翻车:Agent 猜中 RNG 种子 2026 恢复像素置换
RobertTLange · x · 2026-11-06
Robert Lange 分享了一个隐藏信息评测实验:把 MNIST 像素随机置换后交给 6 个 agent,但不告知置换存在。结果所有 agent 都在 49 轮内发现「数字」看起来像噪声,但应对方式分化明显:
- Astras0 猜中了种子:暴力尝试常见 RNG 种子(0、42、1337、2025、2026…),在第 13 轮用 seed 2026 精确恢复了置换,拿到 81.8% 的高分——但这靠的是猜种子而非恢复布局,不应计入成绩
- Opus 更“较真”:3 个种子中有 2 个判定恢复置换违反「不许 fitting」规则,选择只用 shuffle-proof 特征;其中一个 run 在无标签情况下从像素共激活重建布局,拿到 88.3% 的最高分
- Astra 其余两个 run 拒绝推断布局,只用总墨水量等置换无关线索,得分约 25%
作者还自曝了设置中的两处泄漏:可猜的种子(2026 正是 agent 会试的数字),以及运行目录名可见(agent 能看到文件夹名 "hperm",部分 agent 由此推断出任务)。结论:隐藏信息评测会通过各种侧信道泄漏。
「编程与Agent」频道最新
- Conductor 将关停,cherry π 推一键迁移工具承接其工作流 — sull · 2026-11-06
- LangChain 官方:内部智能体大量依赖异步子代理,已在 deep agents 上线 — Hacubu · 2026-11-06
- SaaStr 把 Replit Agent 当 CMO 用：每天产出 3 个营销点子 — amasad · 2026-11-06
- Visa 推 Trusted Agent Protocol:用支付通行密钥验证 AI 购物代理身份 — NVIDIAAI · 2026-11-06
- Cohere North 平台解决 agent 工具调用的安全管控问题 — NVIDIAAI · 2026-11-06
- 选浏览器新标准:哪个更容易被 Codex 操控 — TheZachMueller · 2026-11-06