团队改用小型分类器模型:用本地 LLM 严约束生成评测指标再人工标注
michalmalewicz · x · 2026-10-21
Squareblack 的 michalmalewicz 分享团队正在从大模型转向分类器模型的实践(先后推出 Jev、Basal):
- 用带上下文和知识的 entry prompts 辅助评测,针对每个 case 单独定义一组要打分的指标
- 指标要么自己人工标注,要么让 LLM 在非常严格的约束下撰写再调整
- 写指标的 LLM 也是本地模型——约束足够强时根本不需要 frontier 模型
他的感慨是:这个走向和一年前的预判完全不同,「未来很有意思」。核心洞察是把约束做到极致后,小模型/本地模型就够用。
「编程与Agent」频道最新
- RAG 应用评估实战：从 vibe check 到 61 条用例的 5 步法 — Al_Grigor · 2026-10-21
- Codiff 1.17 自动区分提交中要上线的代码与 LLM 生成垃圾 — cnakazawa · 2026-10-21
- Matt Pocock:AI 没改变编程进阶三级台阶,难的部分依然难 — mattpocockuk · 2026-10-21
- 开源 MCP server 让 agent 查询实时飞机船舶位置并标注来源 — Fast-Aspect-2406 · 2026-10-21
- AI 编程产物「631/631 菜单可用」遭拆穿：真实完成度仅约 45% — HeyZoyaKhan · 2026-10-21
- 开源工具 Flats 让 agent 产物自托管，可替代 Claude Artifacts — victorialslocum · 2026-10-21