Slack 机器人查单翻车复盘：如何阻止 LLM 在工具没跑时编答案
Aggressive-Narwhal-3 · reddit · 2026-10-04
作者所在团队运营一个让员工按订单号查订单的 Slack 机器人，员工投诉它拒绝查询某些订单。排查发现根因很朴素：订单号正则只匹配 6 位数字，5 位订单号从不触发查询，负责回答的 LLM 于是开始即兴编造——「不在这个查询里」「去掉星号再发一次」。
已实施的修复：
- 同时接受 5/6 位订单号
- 匹配前先剥离 Slack 的加粗/代码标记
- 遍历所有订单状态进行搜索
- 把机器人自己的动作日志放进模型可见的 facts 里
- 查不到时让模型直说「已搜全部，未找到」
- 为 13531、13531、주문번호: 13531 等格式加测试
作者仍在求解的问题：如何立一条通用规则，杜绝模型在工具调用静默失败时编造答案？是强制回复引用工具结果，还是在模型开口前校验调用确实执行过？
「编程与Agent」频道最新
- AI 交易 agent 项目公布 Q4 路线图:自研模型与链上工具包 — DionysianAgent · 2026-10-04
- 一个月做出能拿到 AI RAG 工程师 offer 的作品集项目 — ashishllm · 2026-10-04
- 当 AI 笔记员的收藏变成指令：Reddit 网友反思 agent 记忆权限边界 — Ok-Concern519 · 2026-10-04
- 蚂蚁开源 6B 图片模型登顶 UI 设计榜，配套 Skill 一次出四套风格稿 — sven_ai · 2026-10-04
- AI Agent 自动向韩国国民医保追回退款，博主晒约 800 美元战果 — gabrielchua · 2026-10-04
- Rust 解析器 43 秒扫完 Linux 内核 3732 万行,作者求证调用图准确性 — blune-foo · 2026-10-04