trace2rules 实测:AGENTS.md 66 条规则仅 9 条可验证,cargo fmt 全被无视
rkkautsar · reddit · 2026-11-20
作者开源了 MIT 协议的 CLI 工具 trace2rules,把本地 coding agent 会话日志当作数据来审计 AGENTS.md/CLAUDE.md 规则的实际效果。
对 swc 仓库 188 个真实会话的审计结果:
- AGENTS.md 里 66 条规则只有 9 条能在日志中衡量
- Snapshot updates with UPDATE=1 cargo test 在 171 个适用会话中违反 147 次(86%)
- cargo test -p <crate> 违反 158 次(92%)
- cargo fmt/cargo clippy 在全部 185 个适用会话中被跳过——CI 能兜底,但没有本地 pre-commit,agent 工作中从不自我纠正
工具三个子命令(本地运行,基于 DuckDB,支持 Claude Code/Codex/OpenCode/Pi/OMP 日志):
- audit:对照真实会话检查现有规则文件,标出被遵守/忽略/无法衡量/由 CI 强制的规则
- run:找出重复摩擦点(未读先改、漏跑测试、环境命令报错循环),输出带证据的 Markdown 报告,无需 API key,可直接丢给 agent 让它自己写规则
- holdout:按时间切分会话,验证规则在新会话上是否依然成立
作者强调检测是启发式的,输出应作为建议人工审阅而非自动改写。安装:uv tool install trace2rules。
「编程与Agent」频道最新
- 实测 lumimax:页级引用 RAG 知识库,能指出论文互相矛盾 — dr_cintas · 2026-11-20
- 「我已不再手动开 ComfyUI」:用 Claude 在容器里全自动跑图 — xWranglerWranglerx · 2026-11-20
- AI 从零写代码驱动真实机械臂下国际象棋,全程开源 — FinanceYF5 · 2026-11-20
- 亚马逊 CompoundingKernel:自进化 Agent 写 GPU 核冲上榜单第一 — AmazonScience · 2026-11-20
- 独立开发者用 Fable 5.2 参考开源 bot 代码,搭出串联 X 与 Meta 数据的个人 Bot — yihui_indie · 2026-11-20
- Clairvoyance 0.91 发布:内置 Agentic 浏览器供 Claude、Codex 操作 — draginol · 2026-11-20