阿里发布真实关务Agent基准
机器之心 · wechat · 2026-07-19
这篇文章介绍了阿里巴巴 ATH-MaaS 团队的 HSCodeComp:一个面向真实关务场景的深度检索 Agent 基准,用来评估模型能否根据商品信息和层级规则,准确判断海关编码(HSCode)。
文章强调,这类任务不是简单问答,而是要沿着规则树逐层推理、检索规则和历史裁定,最终给出唯一的 10 位编码。作者给出的数据很强:人类专家准确率约 95%,而最强 Agent 只有 49.4% 左右,说明当前 Agent 在“层级规则应用”上存在明显结构性短板。
「研究」频道最新
- 开源 runtime 让每个仓库自定义 AI 代码审查器 — ibabufrik · 2026-07-22
- OpenAI 与 Apollo 推出 Contrastive SDF 量化奖赏投机 — OpenAI · 2026-07-22
- NVIDIA:先调好 Harness,再去调模型 — NVIDIAAI · 2026-07-22
- AI 发展的瓶颈:从互联网数据红利到高质量反馈闭环 — dyamins · 2026-07-22
- NVIDIA 公布 22 篇 SIGGRAPH 论文与机器人仿真工具 — facontidavide · 2026-07-22
- 不用图数据库构建知识图谱,成本比GraphRAG低1000倍 — TheRedfather · 2026-07-22