Sosumi 实测:接入 Apple 文档后编码 Agent 通过率从三成飙至 94-98%
JordanMorgan10 · x · 2026-11-12
mattt 公布了 sosumi.ai（把被 JS 锁住的 Apple 开发者文档转成 AI 可读 Markdown 的服务）的真实效果评测，该服务过去 30 天为编码 agent 提供了数千万次请求，日均约 6,900 个独立 IP。
评测设计：41 个 Swift 任务（多为 OS 27 SDK 新 API），由编译器和逐任务规则判定通过与否，每任务跑 3 次取均值。
关键结果：
- 无文档时：Claude Opus 5.5、GPT-6.1 Sol、Claude Sonnet 5.5 通过率仅约三分之一（38%、33%、31%）
- 接 Sosumi 后：通过率分别达 98%、97%、94%
- 对比内置 web search：Claude 系模型用 Sosumi 高 12-30 分且成本约一半或更低（如 Opus 5.5：web search 11.2¢/任务 vs Sosumi 5.7¢）；GPT 用 web search 略高（99%）但成本约 3 倍
跑评测还顺带发现并修复了若干文档问题（某框架页面竟有 3MB）。评测已开源。
「编程与Agent」频道最新
- Copilot 用 PowerShell 转 CSV 后,作者预告自写 MCP server 版本 — dfinke · 2026-11-12
- 没装 Python 也没关系:Copilot 靠 PowerShell+COM 零配置搞定 Excel — dfinke · 2026-11-12
- 开发者把 Figma、Linear、VS Code 移出了 Dock:工作已全面 headless — mobileraj · 2026-11-12
- 开源 music-skill:让 Claude 逐音符作曲渲染,7 个模型一段提示各出一曲 — BandicootNo3152 · 2026-11-12
- MIT Missing Semester 2026 新增 Agentic Coding 讲座 — moutsea · 2026-11-12
- 开发者用 MCP 加 Claude Code 做出游戏《DEATH MUST DIE》正式上线 — andrey_kurenkov · 2026-11-12