AI 生成合同悄悄捏造 net-30 条款,三周后才被客户发现
AcademicRevenue4815 · reddit · 2026-08-22
作者为小型代理商搭建了一套 AI 文档生成器:表单采集信息 → LLM 填充模板 → 输出格式化 SOW/合同。上线约三周后,客户发现合同里出现一条从未约定的 net-30 付款条款——模型因为训练语料里大多数 SOW 都有这条,就「自作主张」写了进去,而且文档读起来完全无破绽。
作者的反思是:仪表盘上的错误数字一眼能看出错,但合同里捏造的条款读起来和真的一模一样,「输出流畅」本身就是问题所在。
修复方案:法律条款和数字部分不再由 LLM 生成,直接从表单槽位填充;模型只负责描述性段落的措辞,并对模板做 diff,任何无法追溯到输入的句子都会在出稿前被标记。作者总结:涉及义务、金钱、日期的文档,模型应该「组装」而不是「撰写」。
「编程与Agent」频道最新
- 厂商模型与本地模型混用成生产新趋势 — nptacek · 2026-08-22
- Pi 锐评竞品上下文管理:prune+spill 替代有损裁剪,prefill 省 88% — teortaxesTex · 2026-08-22
- Circle CPTO 谈 Agent 经济:USDC 将成即时通用货币 — srimisra · 2026-08-22
- Argus:用 AI Agent 自动探索 UI 并生成测试报告 — JeremyCMorgan · 2026-08-22
- 测试每个前沿模型可能沦为维护负担 — arthurcolle · 2026-08-22
- Primcloud:3 分钟从代码推送到上线 — dee_hw · 2026-08-22