Agent 的规律在 120 家公司全对，在 494 家全错
Bright_Mix_773 · reddit · 2026-09-06
作者团队维护一个 SEC 8-K 财报公告的开源数据集（64,938 条文件、808 家标普 500 公司、2003-2026）。一个 agent 在追查 SEC 文件时间戳不一致时，抽样 120 个 CIK 得出一条「异常干净」的规律：只有已停止申报的公司缺时间戳。团队据此写了分析并发布到四个仓库，随后用全量数据（约 4 万条、494 家公司）复核——规律是错的，13 家仍在正常申报的公司（含 HCA、福特、Foot Locker）违反它，且错误方向会造成实际伤害（会把活跃申报者排除出必要的检查），已在四处撤回。
关键观察：
- 这是三天内发布的第四个错误结论，没有一个是编码错误——每次算术都对，错的是「句子所描述的对象」
- 核心失败模式：假设在产生它的同一批数据上验证，agent 会顺利跑通确认并报 pass；正确做法是必须用假设没碰过的数据源复核（这次是 494 家公司走另一条查询路径）
- 另三个错误：幸存者偏差数字缺测量窗口、把 API 层的 artifact 归因为年代层、从错误文档取了 EDGAR 提交窗口常量
- 有效的流程改进：已知缺陷直接写进 README 标签而非脚注，公开列出已发布过的错误；四次纠正中三次来自陌生人读公开文件后的反馈
作者承认未测量该方法是否泛化，不给数字。
所属事件:LLM数据管线三次出错：皆非代码Bug的踩坑复盘(2 条相关)→
「编程与Agent」频道最新
- Grok 编码额度两天烧光，实测：把仓库丢给云端 Agent 才省周额度 — nikvassev · 2026-09-06
- 给 Agent 一把 API Key 丢了 100 美元，他用 OS 权限重建安全架构 — Imaginary_Dinner2710 · 2026-09-06
- Codex Multi-Agent V2 实战：让 Sol 编排 Terra 协作分工 — alexcovo_eth · 2026-09-06
- 内部流出：十个 Grok Bot 组成约 100 万美元年成本的虚拟组织架构 — socialwithaayan · 2026-09-06
- Grok Bot 多智能体操作手册：Chief 调度专家团队 24/7 跑工作流 — socialwithaayan · 2026-09-06
- 15 分钟把 Grok Bot 配成营销主管：替你跑广告、邮件和社媒 — socialwithaayan · 2026-09-06