Agent 评测 gate 通过≠安全：通过后首次真实请求仍得 0 分
papaparija25 · reddit · 2026-10-17
作者复盘一次无人值守 agent 运行的事故：退出码 0、面板全绿一周，实际输出是幻觉出的 no-op。由此引出共识"查 artifact 而不是 exit code"，但他走得更远——artifact 检查也可能不够。
作者以 reef 的 harness-evolution 教程为实验场：三个精确答案编码任务（sieve、fib、csv），最后一行精确匹配才得分；编辑只有在让先前失败任务通过时才会发布，这已是极严格的 artifact 检查。
关键发现来自结果表：
- 已通过全部任务的模型报告无失败，evolve 步骤从不运行；
- 端点不支持的模型名导致提案失败，记录为 "skipped: no proposal"——no-op 被如实记录，即"绿面板"故事的修复版；
- 但 self-tools 运行中，7B 模型提出两条规则、gate 发布成功，随后对 sieve 任务的实际服务请求仍得 0.0 分。
结论：gate 只是对你给它的任务列表的一次比较，对之后到来的请求什么也不保证。已服务的失误就是你还欠缺的回归测试。所以要既查 artifact，也持续给已服务请求打分——gate 的 yes 和下一条请求的 no 是两种不同的测量，两者都要。
「编程与Agent」频道最新
- 实测两大 AI 编码工作流框架：Superpowers 49分钟4.76美元胜出 — chessbuzz · 2026-10-17
- Pydantic Monty 推出 TypeScript 绑定:在 Node 里沙箱运行模型生成的 Python — samuelcolvin · 2026-10-17
- deepagents 框架接入 Google Gemini:支持 1M token 与视频理解 — hwchase17 · 2026-10-17
- 开发者实测T3 Code移动端：弃用codex与Claude remote control — rudrank · 2026-10-17
- Perplexity 本地决策模型 Flash 实测：准确率持平，速度快近一倍 — WolframRvnwlf · 2026-10-17
- EpochGo 开源：本地 LLM 编排加 Scikit-Learn 离线跑 AutoML — Grouchy-Excitement28 · 2026-10-17