Qwen 27B 配 Python REPL 框架在 Harvey 基准上超越多款旗舰模型
bansalg_ · x · 2026-11-06
ekzhu 团队用 Qwen 27B 配 Python REPL harness、不做任何模型训练,在 Harvey LAB Firm Knowledge 基准上取得 78.9% criteria pass、35.2% all pass;而 GLM-5、Gemini 3.5、Opus 4.8 等更大模型在其他工作中大多只有 60-75% criteria pass、all pass 在 30% 上下。两点结论:1) harness 非常重要但业界对其理解仍不足;2) Qwen 27B 是个被低估的小钢炮,应该用它作为基线来检验新模型是否真有进步。引用推文还讨论了递归自我改进(RSI):作者认为 RSI 涵盖模型训练、agent 技能学习、harness 自我改进与权重空间学习——整条技术栈(模型、技能、harness)都是可端到端学习的,技能/记忆/prompt 本质是推理时训练,高效且易审查,会最先被学习。
「编程与Agent」频道最新
- NVIDIA 团队称多数任务不需要长上下文：Agent 自压缩可稳守 5 万 token — HankYeomans · 2026-11-06
- AI 说 2-3 天的活 10 分钟搞定，视频外包报价遭质疑 — jacalulu · 2026-11-06
- Seroter 阅读清单：上下文漂移实据、Agent 开放基础设施与 Go 新 JSON API — rseroter · 2026-11-06
- Stripe Link 已接入近 400 个 Agent，让 AI 自主完成付款 — jeff_weinstein · 2026-11-06
- Replit CEO 放话：我们是唯一支持团队协作的 AI 编程系统 — amasad · 2026-11-06
- 顾问靠给企业装 Claude「商业大脑」收费 2 万美元,替 3 个全职岗 — aryanXmahajan · 2026-11-06