分析数千小时 agent 运行:LLM 评委测进度强,抓偷懒弱
hrishioa · x · 2026-09-21
hrishioa 分析了数千小时的 agentic 运行记录,评估用 LLM 作评审(Jev)的效果,结论有三点:
- 测进度与估算完成度:这是他测过的最佳方案,能可靠衡量 agent 任务进展
- 检测有害命令:反而危险,不适合用于拦截危险操作(文中展开了原因)
- 抓模型偷懒:效果不佳,很难发现模型在敷衍
文章附带了实际的 prompt 和完整结果,配有精细可视化。
所属事件:22万次工具调用分析：LLM 监督测进度强但防攻击弱(2 条相关)→
「编程与Agent」频道最新
- 开发者自制 Kimi K3.1 Pro 编码微调数据集，LFM3 版下载量意外爆棚 — alexcovo_eth · 2026-11-12
- 开发者放话：AI Agent 基础设施需要彻底重构，别套用 Kubernetes — krishnan · 2026-11-12
- SpaceX 工程师 Lauren Tan 七步法：月发 11000 个 PR、回滚率仅 0.5% — TheTuringPost · 2026-11-12
- Every agent 新功能：从 Slack 直接创建和编辑 Google 表单 — every · 2026-11-12
- Notion MCP Server 支持 CRUD 全流程,可接入 Cursor 与 Claude — modelcontextprotocol · 2026-11-12
- MuniSpot MCP 连接器覆盖 2 万多个美国市政财务数据 — modelcontextprotocol · 2026-11-12