前沿大模型在保险业务评估中表现不佳，通过率骤降20%
ajratner · x · 2026-08-07
SnorkelAI 在 CAIS 会议上介绍了名为 UNDERWRITE 的多轮基准测试。该测试由专家构建，基于真实的保险承销等企业复杂业务场景，用于评估 AI 智能体的表现。
在对 13 个前沿模型的测试中，结果显示模型的研究性能与企业实际应用要求存在显著差距。即便提供了工具访问权限，模型依然会产生特定领域的幻觉，且测试通过率（pass^k）下降了 20%。
「编程与Agent」频道最新
- 收录超千个AI产品系统提示词，SystemPromptIndex 开源库发布 — RishiBommasani · 2026-08-07
- 微软发布 Agent 365 部署手册：Work IQ 赋能企业级智能体 — luisdans · 2026-08-07
- ComfyUI 集成 Qwen3-TTS:支持秒级声音克隆与微调训练 — tom_doerr · 2026-08-07
- DSPy作者访谈：用编程语言重塑大模型意图控制 — lateinteraction · 2026-08-07
- 开源模型凭极低API成本，成AI智能体长循环首选 — togethercompute · 2026-08-07
- Cloudflare 推出 WebMCP，一键让网站原生支持 AI 智能体 — gaganghotra_ · 2026-08-07