Ellf 调研:49% 开发者最大瓶颈是评估与改进 LLM 输出
_inesmontani · x · 2026-10-13
Ines Montani(Ellf/Explosion)分享了其 agentic NLP 平台候补名单调研结果(可多选):
- 49% 的受访者称最大瓶颈是评估与改进 LLM 输出
- 32% 缺少用于训练/微调的标注数据
- 23% 难以决定何时用 LLM、何时训练自定义模型
- 22% 觉得标注太慢或太贵难以规模化
她的核心观点:LLM-as-a-judge 有局限,最终仍需人工查看系统输出并构造理想样本。除了训练基础模型,"大数据"已非必需——几百个高质量样本或一小时标注工作就很有价值,且标注可拆解为快速的二元决策。通过度量系统各环节表现,可以识别哪些组件能用小模型甚至规则替代,只在必要处使用昂贵的 LLM;借助 Claude Code 等编码助手,这套流程也不再需要手工搭建。
「编程与Agent」频道最新
- RAG 未死只是其一环：一张图看懂 LangChain 数据生态系统 — mdancho84 · 2026-10-13
- Teknium 亲修 Hermes Agent：稳定版安装不再被强制升级到 main — Teknium · 2026-10-13
- Epic Games 迪士尼射击游戏延期，团队被要求主要用 AI 开发 — kimmonismus · 2026-10-13
- 用户质疑 Codex 缺实时终端,看不到 agent 在执行什么 — Global_Knee5354 · 2026-10-13
- 开发者自嘲:不再写代码,变成 AI 模型轮班调度员 — CtrlAltDwayne · 2026-10-13
- Teknium 欢迎用户迁移 Hermes Agent,或开源隐藏求职 harness — Teknium · 2026-10-13