「Agent 精神病学」:用思考轨迹评估 skill 是否真的有效
heyneighbor · x · 2026-10-18
GeoffreyHuntley 提出一个随机想法:能否用模型的 thinking traces 来评估某个 skill 是否有效——包括 skill 何时进入模型的考虑范围、以及模型何时决定不使用它,甚至可以延伸评估 agent 的 MD(指令文件)效果。他遗憾地指出这在 Anthropic/Claude 上目前不可行,并把「Agent Psychiatry(智能体精神病学)」作为待探索的方向。这是 agent eval 工程的一个有趣切入点。
「编程与Agent」频道最新
- 评测框架观点:纯模型无关的 harness 无法榨干模型潜力 — gethackteam · 2026-10-18
- 谷歌开源 Harness²:不改权重递归优化 agent 框架,最高提升 11.8 点 — dr_cintas · 2026-10-18
- exe.dev 上线 API/CLI 浏览器,秒级创建 VM 可克隆可分享 — davidcrawshaw · 2026-10-18
- 用 Codex 重新整理 Google TV:编码智能体的离谱新玩法 — brandon_galang · 2026-10-18
- 开发者视角反转:AI 让曾被嫌弃的 monorepo 在 2026 年变得好用 — gethackteam · 2026-10-18
- 从没写过代码的网友:用编程 agent 像盲煮,全靠信任过程 — flowersslop · 2026-10-18