独立研究者 4165 轮实测:开源小模型跑真实编码工作的系统工程账
Vaibhav Jain · hf · 2026-10-27
印度独立研究者 Vaibhav Jain 发布工程复盘报告(2026 年 7 月至 10 月),检验开源权重小模型能否完成真实编码工作。
- 核心结论:让模型生成文本 ≠ 让它完成编码工作。「端点 nominally 兼容」的模型在 tool-call 格式、turn 控制、上下文行为、缓存复用与可靠性上差异巨大。
- 「模型可用」「文本连贯」「tool call 能执行」「代码通过独立行为检查」是四个截然不同的进度层级。
- 证据包括作者自己 4,165 轮 coding-agent 网关会话、623 个 debug 任务,覆盖 vLLM、SGLang、llama.cpp、MLX 等多种 serving 方案。
- 对想用开源小模型搭 coding agent 的开发者是详尽的踩坑指南。
「编程与Agent」频道最新
- DevSpeak MCP:让编码 agent 帮你润色 PR 描述与提交信息 — modelcontextprotocol · 2026-10-27
- ThreadMind MCP 用 Git 式记忆树管理 agent 上下文并降低 token 成本 — mahmu_tech · 2026-10-27
- 让 Claude 独立设计 e-ink 名片:原理图到产品页一手包办 — isaul32 · 2026-10-27
- 2023 年 AI 工程师四步上岗,2026 年留白引热议 — JafarNajafov · 2026-10-27
- 开发者实测 DeepSeek Flash:让它自建工具效果出色且成本低 — victormustar · 2026-10-27
- 独立开发者用远程 MCP 服务器托管小企业建站与社媒运营 — Ok_Cucumber_131 · 2026-10-27