Retriever AI 实测 OpenAI Dots:五项日常任务 24/24 力压对手
quarkcarbon · reddit · 2026-10-01
rtrvr 联合创始人基于 5 万条真实用户工作流发布了 AI 助手基准测试,配套 mock 网站和 5 个可复现任务提示词,任何人都能拿自己的助手跑同一套测试,比较准确率、成本与耗时。
- 五项任务包括:申领航班积分、投递职位、寻找创作者、发票对账、保护私人邮箱信息
- 发票对账环节:rtrvr 起初格式出错,但能利用页面状态自愈并完成;Dots 明知有两条要求未满足仍停止
- 总计 rtrvr 达成 24/24 目标,Dots 为 22/24
- 作者坦承样本量小,测试集仍在扩充
注意这是 rtrvr 自家的对比测试,存在立场偏向,但开放基准的思路值得参考。
「编程与Agent」频道最新
- Rox 实测:Jev 重排检索比 GPT-5 Mini 快 20 倍、便宜 10 倍 — hardimanjames · 2026-10-01
- 手机变游戏手柄:Godot 4 纯 GDScript 开源库发布 — film_girl · 2026-10-01
- 曝 Google AI Studio 内测安全审查模式,Plan 模式同步开发中 — testingcatalog · 2026-10-01
- AgenticROS 接入 Antigravity CLI,用订阅额度免费驱动 ROS 2 机器人 — chrismatthieu · 2026-10-01
- 只读账号不等于只读:AI agent 踩坑催生开源 agent-db-scan — Then_Respect_1964 · 2026-10-01
- Omni-IO Skills 开源框架让通用 Agent 掌握 27 项多模态技能 — _akhaliq · 2026-10-01