skillEd 开源:给 Agent 评测留可审计证据链,CLI 与 MCP 双入口
MiserableFlatworm337 · reddit · 2026-10-26
作者提出:Agent 通过 MCP 调用评测时,应留下人类可检查的证据——案例身份、评分结果和保存的报告都要易于查找,而不是依赖 Agent 一句「测试通过」的总结。
- CLI 适合显式的复现命令,MCP 适合 Agent 在同一评测流程中工作,但两者都不能让弱测试变强,结果含义仍取决于案例与评分标准
- 作者据此开发了 skillEd(评测 CLI + 本地 MCP 工具,产出存档报告,面向 Codex、Claude Code 等 Agent)
核心观点是评测工具返回给 Agent 的信息要保持可审计,这一原则对做 agent eval 工程的团队有参考价值。
「编程与Agent」频道最新
- 即便开启 Daybreak，模型请求漏洞分析仍被网络安全风控拦截 — jd_pressman · 2026-10-26
- Bambi 线性建模库悄然支持非线性模型,作者发文详解用法 — twiecki · 2026-10-26
- 开发者用 Claude 编排 Agent 五天，作曲并渲染 3D 钢琴家日落湖畔演奏 — 141_1337 · 2026-10-26
- 开源工具 skillEd 征集反馈：从失败报告到可复现问题有多顺 — MiserableFlatworm337 · 2026-10-26
- 复旦×腾讯推出 DraMaze：用演化树搜索破解短剧剧本套路化 — Siyang He · 2026-10-26
- 阿里淘宝团队发布 MultiAgent-OPD：策略内蒸馏端到端训练多智能体 — TaoLiveAIGC · 2026-10-26