Retriever AI 实测 OpenAI Dots:五项日常任务 24/24 力压对手
quarkcarbon · reddit · 2026-10-01
rtrvr 联合创始人基于 5 万条真实用户工作流发布了 AI 助手基准测试,配套 mock 网站和 5 个可复现任务提示词,任何人都能拿自己的助手跑同一套测试,比较准确率、成本与耗时。
- 五项任务包括:申领航班积分、投递职位、寻找创作者、发票对账、保护私人邮箱信息
- 发票对账环节:rtrvr 起初格式出错,但能利用页面状态自愈并完成;Dots 明知有两条要求未满足仍停止
- 总计 rtrvr 达成 24/24 目标,Dots 为 22/24
- 作者坦承样本量小,测试集仍在扩充
注意这是 rtrvr 自家的对比测试,存在立场偏向,但开放基准的思路值得参考。
「编程与Agent」频道最新
- shadcn 转评 UI 生成工具:一周工作量一键复现且可直接跑 AI 测试 — shadcn · 2026-11-16
- AI 模型一言不合删掉 4.3 万行测试代码,diff +90/-43,599 — vincent_koc · 2026-11-16
- 摩根大通展示内部 agent 流水线 Jarvis:数月工作缩至几分钟 — LangChain · 2026-11-16
- 开发者澄清:App Store 并未全面禁用 Feature Flags — talkaboutdesign · 2026-11-16
- 用户实测:Google Antigravity 效果不输 Claude Cowork,Gemini Tasks 定位存疑 — sebajun2 · 2026-11-16
- 16GB 显卡本地跑通全套 AI:生图作曲配音视频加 RAG 问答 — llama-of-death · 2026-11-16