Agent 的规律在 120 家公司全对，在 494 家全错
Bright_Mix_773 · reddit · 2026-09-06
作者团队维护一个 SEC 8-K 财报公告的开源数据集（64,938 条文件、808 家标普 500 公司、2003-2026）。一个 agent 在追查 SEC 文件时间戳不一致时，抽样 120 个 CIK 得出一条「异常干净」的规律：只有已停止申报的公司缺时间戳。团队据此写了分析并发布到四个仓库，随后用全量数据（约 4 万条、494 家公司）复核——规律是错的，13 家仍在正常申报的公司（含 HCA、福特、Foot Locker）违反它，且错误方向会造成实际伤害（会把活跃申报者排除出必要的检查），已在四处撤回。
关键观察：
- 这是三天内发布的第四个错误结论，没有一个是编码错误——每次算术都对，错的是「句子所描述的对象」
- 核心失败模式：假设在产生它的同一批数据上验证，agent 会顺利跑通确认并报 pass；正确做法是必须用假设没碰过的数据源复核（这次是 494 家公司走另一条查询路径）
- 另三个错误：幸存者偏差数字缺测量窗口、把 API 层的 artifact 归因为年代层、从错误文档取了 EDGAR 提交窗口常量
- 有效的流程改进：已知缺陷直接写进 README 标签而非脚注，公开列出已发布过的错误；四次纠正中三次来自陌生人读公开文件后的反馈
作者承认未测量该方法是否泛化，不给数字。
所属事件:LLM数据管线三次出错：皆非代码Bug的踩坑复盘(2 条相关)→
「编程与Agent」频道最新
- 团队弃个人 AI 智能体改用共享版：基于 Claude Managed Agents 一周上线 — every · 2026-10-23
- Reddit 开发者求问：如何防止 Agent 提示词越改越退化 — SleepFlimsy6963 · 2026-10-23
- 接付费商单该用什么模型?Reddit 创作者晒 Claude Code+ComfyUI 工作流 — newaccount47 · 2026-10-23
- 社科学者批 AI 圈：把 Agent 开发当会自动变好的黑箱 — RexDouglass · 2026-10-23
- 网友 vibe coding 出 Tesla Roadster 小游戏，赶在 GTA VI 之前 — Jasonio · 2026-10-23
- Codex CLI 0.164.0 报 account/read 错误，重启 daemon 可解 — bytebot · 2026-10-23