Surge AI 推出 DAYJOB: Tax 基准:Opus 5 次全中税务死线,Astra 全部漏报
echen · x · 2026-10-28
Surge AI 的 Edwin Chen 指出,当前多数基准太「干净」:它们测试的是模型在被明确告知问题是什么时能否求解,但「搞清楚问题本身」才是真实工作的一半。其 Evals 团队推出 DAYJOB: TAX,把现实中的混乱引入税务专业基准。
一个典型例子:
- Anna 问税务顾问 10 月还是 1 月卖房更省税,普通顾问能判断两个日期都符合 25 万美元资本利得免税额;
- 更好的顾问会主动警告:由于她 2024 年 8 月已搬出,若交易拖过 2027 年 8 月底,将失去免税资格。
实测结果:Opus 在 5 次尝试中 5 次主动提到这个 8 月死线,而 Astra 从未提到。Chen 认为,优秀的税务 agent 不只要懂规则,还要具备客户没问到时也能给出专业判断的能力。DAYJOB 系列此前已发布 Healthcare 和 Finance 两个基准。
所属事件:Surge AI 发布 DAYJOB: Tax 基准考税务实战(2 条相关)→
「模型」频道最新
- 研究者曝未发布模型可解 ETH 与准黎曼猜想级难题 — BlancheMinerva · 2026-10-28
- 社区流出 LFM3-1.7B 去审查 GGUF，拒绝率从 61.7% 降到 0% — alexcovo_eth · 2026-10-28
- CRUX 影子评测:GPT-6 Astra 与 Claude Fable 5.1 独立研究论文均遭专家拒稿 — patpat_mit · 2026-10-28
- Ollama 云服务上线：联手 Crusoe 跑前沿开源模型 — ollama · 2026-10-28
- 想当主权欧洲 AI 实验室?先做到三点:开放权重、干净评测、说清贡献 — alejandroll10 · 2026-10-28
- GLM 5.3 Flash NVFP4 实测:4 卡 6000 WS 限 450W,V2 吞吐较 V1 大幅提升 — TheZachMueller · 2026-10-28