RuleTrek 基准：11 个前沿 LLM 规则推理最高得分仅六成
Chenhao Yuan · hf · 2026-10-15
中科院自动化所等团队发布 RuleTrek，一个面向复杂场景的多领域 agentic 规则推理基准。
- 动机：真实任务中规则与场景信息分散在多个文件里，现有规则推理基准只用少量事实陈述表示场景，过度简化了规则识别与应用的难度
- 构建流程：从规则文档抽取结构化规则图，增量组合规则相关子场景，保证一致性与可解性
- 评测三项能力：规则识别（RI）、规则推演（RD）、端到端规则推理（E2E），在交互式工作区中进行
- 结果：11 个前沿 LLM 中，RI 与 RD 最高分仅 62.47% 和 60.43%，E2E 得分在 26.97%–55.29% 之间
结论：当前 LLM 智能体在跨文件、复杂场景的规则推理上仍有很大差距。代码与数据集已开源。
「编程与Agent」频道最新
- Agent 记忆一年进化：从静态 CLAUDE.md 走到「做梦」 — mcraddock · 2026-10-15
- patio11 初试多智能体开发:明确是未来,推理量将暴涨 — IgorCarron · 2026-10-15
- AIPOCH 推出 .science 研究包,一键打包可复现科研全流程 — Med1_Ai · 2026-10-15
- shwarm.org：人类拍板、agent 干活的开源协作新概念 — allisonmaybe · 2026-10-15
- Faceplugin 开源免费人脸识别 SDK,支持本地部署全流程 — tom_doerr · 2026-10-15
- 生产级 Text-to-SQL 难题：执行成功但语义错误的 SQL 怎么救 — Fun-Following-1723 · 2026-10-15