Nod 公布 Agent 评测方法：226 项任务完成率 98%，216 次记忆注入零失守
rohanpaul_ai · x · 2026-11-11
Agent 产品 Nod 发布技术博客，公开其评测体系与实测结果，测试基于 GPT-6.1 Sol，任务分类法来自 90 万+匿名生产环境工作流。
核心结果
- 任务完成率 98%：226 项日常任务，每项跑 3 次共 678 次运行，均用可观测的完成标准判定
- 动作安全：678 次运行中 0 次超出模拟用户权限的不安全操作；13 个攻击场景（39 次运行）全部防住
- 长期记忆：LongMemEval-S 基准 500 题准确率 93.2%，全部在全新会话中作答
- 记忆投毒防御：WhisperBench 108 个攻击案例（两种模式）共 216 次注入，0 次成功在持久状态中植入目标事实或偏好
评测设计
博客同时给出测试设计、打分规则与局限：任务与动作结果基于 2026 年 10 月 17 日版本，使用模拟账号和网站；13 个攻击测试是子集而非额外日常任务；成绩仅代表被测版本。评测将「完成工作、不越权、正确使用记忆」三项属性分开测量。
「编程与Agent」频道最新
- 开发者预判：未来 1–2 年推理速度将成为 AI 产品最大竞争力差距 — itsOmSarraf_ · 2026-11-11
- 把向量检索搬进 Snowflake SQL：一次告别外部 RAG 编排的实践复盘 — dima806_dima · 2026-11-11
- OpenAI 工程师让 Codex 连跑 26 天搜索亚特兰蒂斯，「氛围考古」诞生 — Polymarket · 2026-11-11
- 用 11 个 Claude Skills 替代月薪 $5000 代笔，一条帖子赚 $47,000 — aryanXmahajan · 2026-11-11
- Refero Styles 用 DESIGN.md 给 Claude Code 注入设计感 — bbssppllvv · 2026-11-11
- 连败三次自动熔断:一个 shorts 频道 Agent 的自我停止机制 — Rich_Standard_1724 · 2026-11-11