法律 AI 不听 skill 指令引热议：evals 才是质量护城河
HamelHusain · x · 2026-10-21
律师 @lexnode 吐槽 AI 法律文档生成的核心痛点：法律文件容不得任何非确定性，即使写好 skill 模型也不遵守，他宁可用刚性 docgen 模板 + 只能填变量的 AI，也不要通用法律 AI。
@renegadesilicon 借此论证 evals 比提示词或工程技巧更重要：
- 指令遵循是可度量的，没有 eval 层，“我写了个好 skill”就可能沦为（有时是危险的）空话；
- skill 里的“硬性禁令”可以转成自动化检查，让模型输出可量化、可测试；
- 代码型 eval 可确定性地抓住大量缺陷，LLM-as-judge 处理语义层面的。
帖中还推荐了 Hamel Husain 和 shreya 的 evals 课程作为入门路径。Hamel Husain 本人转发了这条讨论。
所属事件:律师吐槽 AI 起草法律文书不听指令，模板加评测更可靠(2 条相关)→
「编程与Agent」频道最新
- DeepStation 社区活动现场演示 OpenAI DevDay 后 Codex 新功能 — MicahBerkley · 2026-10-23
- 开源语义搜索让 GitHub issue 检索快 2 倍、准 8 倍 — jamesmurdza · 2026-10-23
- HarnessRouter 开源：一套 API 统一调度 Codex 与 Claude Code 等编程智能体 — tom_doerr · 2026-10-23
- React Scan 作者预告新工具，称要解决性能调试老大难 — aidenybai · 2026-10-23
- Coinbase 推出 Agent 专区:让 ChatGPT、Claude 等代理代你交易加密货币与股票 — MurrLincoln · 2026-10-23
- GitHub DaisyUI-MCP 仓库被曝内置 luajit.exe 恶意软件 — AveryFreeman · 2026-10-23