阿里 HSCodeComp 基准显示 AI 仍远逊于关税专家
jiqizhixin · x · 2026-07-29
阿里巴巴提出了 HSCodeComp 基准，用来测试 AI 能否根据商品信息和关税规则，推断出精确到 10 位的 HS 编码。
- 这个任务要求模型像律师或医生一样，按层级规则逐步判断：先看大类，再处理更细的例外条款。
- 结果并不乐观：最强 AI agent 只有 46.8% 准确率，而人类专家达到 95.0%。
- 论文还发现，增加更多推理步骤不一定有帮助，反而可能让模型越走越偏。
- 这是一个面向真实规则推理场景的、偏专家级的评测基准。
「研究」频道最新
- 一个古老结构单元撑起免疫系统：免疫球蛋白折叠的亿年多职演化 — arjunrajlab · 2026-10-16
- 中国后量子签名 Origami 被攻破，公钥即可伪造签名 — matthew_d_green · 2026-10-16
- 模型能力还是基础设施？Agent 评测的分层归因难题 — jrxna · 2026-10-16
- 首篇论文即中 NeurIPS spotlight:多智能体集群安全研究 — LauraRuis · 2026-10-16
- UNSW 提出 EDEN：嵌入空间锚定噪声增强 LLM RLVR 探索 — Daijiao Liu · 2026-10-16
- 自动驾驶团队演示窄路僵局：车辆学会倒车让行，并自制机械臂换挡测试 — sanjeevs_iitr · 2026-10-16