只用标题喂摘要器也会编出细节,开发者求教忠实度校验实践

rahul_watertech · reddit · 2026-10-24

一位 Reddit 开发者分享了自己新闻摘要管线的踩坑经历:其中一个 feed 是 Google News 的 RSS 搜索,description 字段只有标题加媒体名,抓原文链接又只拿到 Google 重定向页的通用摘要,等于摘要器只看标题就开工,结果照样写出了非常自信的细节——某条摘要提到「位于 Bengaluru 和 Hyderabad 等城市的中心」,而五家媒体的标题里都没有任何这类信息。

更麻烦的是他的质量门(quality gate)拦不住这种幻觉,因为生成的文本读起来完全通顺。他已经把该 feed 换成带 description 的源,但认为这只是治标,想请教大家在实践中如何做忠实度校验:第二遍模型审核、NLI(自然语言推理)模型、先抽取后摘要,还是其他方案?