spaCy 作者Honnibal:用廉价 LLM 面板+Dawid-Skene 造 NER 数据
honnibal · x · 2026-11-23
spaCy 与 Explosion 创始人 Matthew Honnibal 分享了一套可让编码 agent 代为执行的 NER 数据标注配方,应对前沿模型「接近但不够好且昂贵」的现状:
- 流程:把数据过一遍多个廉价 LLM 组成的「标注面板」→ 累积修正规则 → 构建词典表→ 用 Dawid-Skene 算法对多模型输出做集成聚合 → 只对分歧样本做二元人工标注 → 再以人工标注为可信锚点重跑 Dawid-Skene,防止正确标签被多数票淹没。
- 核心观点:编码 agent 让人能在更高的抽象层级上工作,过去「有最好」的步骤现在都可以顺手做,使构建 NLP/ML 方案更便宜、更易上手。
- 必要的门槛:仍需做少量人工标注——只用 LLM-as-judge 就没有校准基准,甚至连需求都难以写清,因为你不了解数据本身。
所属事件:spaCy 作者开源「Vibe NLP」流程低成本造NER数据(2 条相关)→
「编程与Agent」频道最新
- 只会写代码的开发者有风险:全流程 agentic 软件工厂图解 — Pavan_Belagatti · 2026-11-23
- Vibecoding 两周变一天:电商店建站成本从 5000 美元骤降 — Tegadesigns · 2026-11-23
- nichochar 提出 agent 两分法:管家型与园丁型 — hwchase17 · 2026-11-23
- MCP 网关该「大声失败」:缺依赖时返回貌似合理的答案才是真 bug — Emergency-Tutor-7 · 2026-11-23
- AI 编程已强,PCB 布线仍是盲区:开发者苦寻能替代的自动布线工具 — goldvenetianmask · 2026-11-23
- 26.4B 无审查模型上 Mac:12GB 内存跑通,多 agent 提速 3 倍 — SumitGup · 2026-11-23