资深工程师基准实测:Muse 重写烂代码库仅得 42%,远逊 Sol 6.1 的 71%
danshipper · x · 2026-10-13
danshipper 公开其「Senior Engineer Benchmark」计分板,任务是把一个 vibe coding 产出的烂代码库从零重写。当前三个模型成绩:
- gpt-6.1-sol(Codex CLI, high effort):71%
- muse-wonder-1.0:42%
- gpt-6-sol:35%
该基准是作者基于自己真实工作场景的单人基准,评分由程序化代码检查与 LLM 评审(Claude)组成,衡量「哪个模型在我的工作上表现最好」而非通用能力排名。作者指出 Muse 表现不佳,而 Sol 6.1 也并非该基准的高分上限。其余模型成绩正在争取公开。
所属事件:Muse Wonder 资深工程师基准表现远逊 Sol 6.1(3 条相关)→
「模型」频道最新
- Alexandr Wang称Muse Wonder主打自然沟通:为所有人造模型 — alexandr_wang · 2026-10-13
- 用户吐槽:Opus 5.5 用久了也变「敷衍」,需要人反复兜底 — audrow · 2026-10-13
- Hub 新品类「决策模型」走红:不要文字,要能写进 if 语句的数字 — erhannah · 2026-10-13
- 实测 Muse Wonder 生成讲解视频：效果粗糙，旁白全是澳式口音 — danshipper · 2026-10-13
- 头部模型份额暴跌:十大模型token占比从55%跌至14% — GaryMarcus · 2026-10-13
- 用户反馈 DeepSeek V4.1 静默更新后编辑失败率极高 — teortaxesTex · 2026-10-13