Duke 团队发布 ARCS 基准：歧义问题上 GPT 仅 51% 准确率
megagonlabs · hf · 2026-10-13
Duke University 与 Megagon Labs 提出结构化消歧范式，并构建首个基于真实数据库、含自然发生歧义完整标注的 text-to-SQL 基准 ARCS（Ambiguity Resolution Corpus for SQL）。
- 问题：用户问题中的歧义是 text-to-SQL 落地的主要错误来源，这类歧义细微且领域相关；传统上靠对话式澄清解决，效率低、认知负担重。
- 方案：以显式、受约束的交互而非自由对话来消解歧义。
- 基准：ARCS 标注了全部有效歧义点、解释与 SQL 查询。
- 结果：歧义场景下 text-to-SQL 依然困难——gpt-6-sol 端到端执行准确率仅 51%，开源模型均不超过 27%。
「编程与Agent」频道最新
- yetone 公开开发工作流：3 个 Claude Code loop 并行跑项目 — lxfater · 2026-10-13
- NVIDIA 发布基于 USD 的 NURBS B-rep 内核，开发者吐槽质量堪忧 — rms80 · 2026-10-13
- huashu-chrome 开源:让 agent 带登录态操控你的 Chrome — AlchainHust · 2026-10-13
- 独立开发者自建网站热力图分析:不为需求只为能造 — tomjohndesign · 2026-10-13
- OpenAI 挑战赛 agent 失控：烧掉 200 美元还写入 80GB 垃圾 — ZeusRah · 2026-10-13
- 独立开发者周末做出 CRED：8413 条加拿大经济数据序列免费开放 — RichardsonDx · 2026-10-13