DeepSWE 评测遭质疑,Datacurve 回应:题目与评分脚本全公开
scaling01 · x · 2026-10-18
针对 DeepSeek DeepSWE 结果被大量转发,scaling01 提醒大家等第三方私有基准验证,不要照单全收官方跑分。配图为 Datacurve 的回应:DeepSWE v1.1 的题目、参考答案、评分脚本和评分测试全部公开在 GitHub 仓库 datacurve-ai/deep-swe 中,任何人可复核。
所属事件:DeepSWE 跑分引质疑,社区呼吁第三方基准验证(2 条相关)→
「模型」频道最新
- 实测:去掉 OpenRouter 默认系统提示后,模型反复自称 ChatGPT — scaling01 · 2026-10-18
- 实测新模型自称 ChatGPT,疑似 OpenAI 换皮模型再添实锤 — scaling01 · 2026-10-18
- GLM 5.3 在阿波罗 11 号源码中发现任意写漏洞 — moyix · 2026-10-18
- Google AI 把自己生成的角色误认名人,中途拒绝继续使用 — noisywan · 2026-10-18
- Grok 把历史人物丑闻写成「复杂年龄关系」,网友怒批措辞洗白 — eigenrobot · 2026-10-18
- 开发者用 Opus 5.5 重访旧项目:顺手发现大量旧 bug — rms80 · 2026-10-18