arXiv 论文:本体 Schema 校验不等于事实核查,甚至误标正确答案
JeremyCMorgan · x · 2026-11-06
arXiv 论文《What Does an Ontology Catch?》把「校验器本身」作为研究对象,检验用知识图谱本体(curated、LLM 生成、数据挖掘三种来源)来核查 LLM agent 答案是否可靠。
核心发现:
- 精选(curated)schema 对 agent 真实答案的纠错精度仅略高于随机检查,作为已发布本体使用时甚至会与底层数据自相矛盾
- 在 UniProt 等公开图谱及一个近 10 亿三元组的私有图谱上,curated 本体误报(把正确答案标为错误)比数据派生或 LLM 派生本体更多,可能诱导 agent 去「修复」原本正确的答案
- 不同来源的本体在「抓住真实错误」与「误报」之间存在明显权衡,组合多来源或给 agent 反馈未必划算
结论:schema 层面的结构校验≠事实校验,用本体包装 agent 输出的做法需要重新评估其成本与收益。
「编程与Agent」频道最新
- 开发者用 PlayAstrocade 做 AI 游戏上瘾:AI 擅长复刻,不擅创新 — andrey_kurenkov · 2026-11-07
- gemini-cli 修复 macOS PTY 主描述符泄漏 PR — ugorla-dev · 2026-11-07
- 一次清理砍掉 7500 行代码:CI 去重后成本降 40%、提速 15% — DanielLockyer · 2026-11-07
- PE 董事会视角复盘:砍掉工程师换 AI 的八步轮回,一年后才见效 — alex_verem · 2026-11-07
- Meta 研究员承认:模型未针对 Codex 调优,将改进 harness 随机化 — JoshPurtell · 2026-11-07
- LangChain 本周动态:Deep Agents 支持异步子代理,浏览器工具实测 Stagehand 胜出 — hwchase17 · 2026-11-07