LongTail-SWE 榜更新:Kimi K3.1 Pro 77% 居开源之首,DeepSeek V4.1 Flash 达 76%
Fabulous_Pollution10 · reddit · 2026-11-19
LongTail-SWE(202 个真实 GitHub 任务、13 种小众语言)基准发布新结果:
- Kimi K3.1 Pro:77%,为目前最强的开源权重模型,但每次尝试消耗 560 万 tokens
- DeepSeek V4.1 Flash 1017:76%,较上一代 V4 Flash 的 57% 大幅提升
- Kimi K3 上下文从 262K 扩到 1M 后重跑得 72%(+8 分)
从配图榜单看,闭源阵营 Opus 5.5 与 GPT-6.1 Sol 均为 82% 并列榜首;开源侧 GLM-5.3 Flash(48%)、Qwen3.8 27B(43%)仍与头部有较大差距。本次还修复了部分任务的测试用例,完整榜单见 longtail-swe.com。
「模型」频道最新
- 微软新文案质疑开源权重可信度,遭社区嘲讽「就这水平?」 — victormustar · 2026-11-19
- 用户吐槽 6.2-astra 是用过的最差 DevOps 模型:解释全靠胡说 — rickasaurus · 2026-11-19
- 反驳「LLM 已到能力顶峰」:新模型长程自主任务显著变强 — minhnguyen · 2026-11-19
- Adaption 为新加坡 SEA-LION 主权模型提供推理服务 — sarahookr · 2026-11-19
- Astra 6.2 实测:随口描述想法就能生成完整可跑应用 — kagigz · 2026-11-19
- Every 实测 GPT-6.2 Astra 与 Sol:有界任务高效,深度工作仍欠判断力 — danshipper · 2026-11-19