微软发布 BI-Bench：前沿大模型端到端商业智能准确率不足50%
MicrosoftResearch · hf · 2026-09-22
微软研究院发布 BI-Bench，首个系统评估 LLM 端到端商业智能（BI）能力的基准。团队从公开来源收集真实 BI 项目，并从真实用户仪表盘中人工提取问答对构建数据集。
关键发现与方案：
- 即使是最前沿的 LLM，在 BI-Bench 上准确率也不到 50%；
- 为此设计了工具增强的 BI-Agent，将 BI 工作流拆解为搜索、join、转换等子任务，并在各阶段编排专门的数据管理方法，相比原版 LLM 最高提升 40 个百分点；
- 进一步提出后训练框架，从真实 BI 项目合成训练轨迹，用 SFT 和 RL 训练 BI-Agent，再提升最多 30 个百分点。
结论：在复杂 BI 工作流中，工具增强推理与领域后训练相结合至关重要。
所属事件:微软发布 BI-Bench：前沿大模型商业智能准确率不足半数(2 条相关)→
「编程与Agent」频道最新
- 两人小公司用 46 个 AI Agent 运营：审批门禁、哈希锁文件与翻车复盘 — dkovl · 2026-11-12
- LlamaIndex 让 AI Agent 渗透测试自家 LlamaParse，四天暴露四条经验 — llama_index · 2026-11-12
- Manhattan 字体 v0.0.1：每个字母都是一个 Python 函数 — allanyu_ · 2026-11-12
- 用 Backplane「提示词造出」任意扩展卡,网友呼吁扩展口回归标配 — _Stocko_ · 2026-11-12
- Agent 会话跑了 51 分钟烧 24.8 万 token,网友直呼还在干活 — _Stocko_ · 2026-11-12
- 可视化 AI Agent 团队协作：每个 Agent 一间「房间」，共享知识库 — LiorAloni11 · 2026-11-12