小模型 Jev 分类与 Opus 判断一致率达 95%,可用人工标注再微调 prompt
honnibal · x · 2026-10-21
Matthew Honnibal(spaCy 作者)分享了一个实战案例：团队此前的用户项目依赖大量由 Opus 驱动的 few-shot 文本分类器，他改用 Typesafe 的 Jev 跑同样的数据，Jev 与 Opus 的判断在 95% 的输入上一致。
他的做法是：把两者判断不一致的样本排队送人工标注，标注结果帮助定位并修正了 Jev 的 prompt 中几处必要细节(配图为分类标注界面，含 NEGATIVE/NOTNEGATIVE/UNCLEAR 三档)。
这是一个用小模型替代昂贵大模型跑分类任务、再用「分歧样本+人工标注」迭代 prompt 的可复用工作流。
所属事件:spaCy 作者实测：小模型 Jev 分类与 Opus 一致率达 95%(2 条相关)→
「编程与Agent」频道最新
- 大公司90%信息只在员工脑中，「company brain」创业趁虚而入 — gabriel1 · 2026-10-21
- EAU 框架：让用户模拟器、环境与策略共同进化训练 agent — UAlberta · 2026-10-21
- Meta 提出 Self-Credit：稀疏奖励下智能体 RL 的信用分配新解法 — meta · 2026-10-21
- Notion 揭秘模型路由器 Auto：复用 Elo 评测，成本比单个旗舰模型低 62%-93% — ivanhzhao · 2026-10-21
- 开发者搭自动化让 Agent 主动认领搁置已久的 PR 和 Issue — vikvang1 · 2026-10-21
- 防篡改 agent 日志仍不够：谁来做最终状态的独立复核？ — ZealousidealAct9661 · 2026-10-21