DeepORG 基准测试：Gemini 3.7 Flash 以 97.3 分通过 113 项任务
dosco · x · 2026-08-31
GraphJin 发布了针对组织级智能体的 DeepORG 基准测试，包含 113 项真实数据库操作任务。
核心结果：
- Gemini 3.7 Flash: 全通过率 97.3/100，策略遵从率 96.5%，且在 339 次尝试中实现零不安全操作（无意外写入或副作用）。
- 成本与延迟: 每次尝试成本约 0.092 美元，P50 延迟 13.8 秒。
- 测试内容: 模型需返回正确答案、受管方法、预期行为，并确保无 unsafe actions。
该基准旨在验证 AI 智能体在连接真实数据库时的治理、安全与执行能力。
「编程与Agent」频道最新
- 开源工具 ebook2audiobook 免费把电子书变有声书，已获 2 万 star — thisguyknowsai · 2026-10-16
- OpenAI DevDay 班加罗尔站开幕，现场推出 Codex 大使计划 — HowDevelop · 2026-10-16
- 用数学模式与 Gemini 智能体在 Antigravity CLI 里作曲的玩法实验 — fofrAI · 2026-10-16
- Google 实习生发布 DuoDiscover,登顶 NVIDIA SOL-ExecBench — berkeley_ai · 2026-10-16
- 去掉框架手写 Agent 循环：LangGraph 到底帮你做了什么 — m3m3o · 2026-10-16
- 博主称免费版用户已严重低估 10 个月来 AI Agent 的进步 — realmeetjames · 2026-10-16