阿里发布真实关务Agent基准
机器之心 · wechat · 2026-07-19
这篇文章介绍了阿里巴巴 ATH-MaaS 团队的 HSCodeComp:一个面向真实关务场景的深度检索 Agent 基准,用来评估模型能否根据商品信息和层级规则,准确判断海关编码(HSCode)。
文章强调,这类任务不是简单问答,而是要沿着规则树逐层推理、检索规则和历史裁定,最终给出唯一的 10 位编码。作者给出的数据很强:人类专家准确率约 95%,而最强 Agent 只有 49.4% 左右,说明当前 Agent 在“层级规则应用”上存在明显结构性短板。
「研究」频道最新
- Cognition SWE-2 用 KKT 对偶优化长度惩罚,一次 RL 推移 Pareto 曲线 — YouJiacheng · 2026-09-11
- VidMap 用 RoMa 粗匹配全帧、精细匹配仅限关键帧 — ducha_aiki · 2026-09-11
- Bug Hunt Bench 作者补充:榜单噪声幅度约 2-3 分 — PawelHuryn · 2026-09-11
- 台球计算模型登 PNAS:二维系统已存在不可判定性,可跑通用计算机 — eigensteve · 2026-09-11
- 新研究:从仿射变换与重力线索求解绝对位姿 — ducha_aiki · 2026-09-11
- LoMa 论文发布 REALLY HardPairs 数据集,入选 ECCV 2026 — ducha_aiki · 2026-09-11