数据标注公司预判:企业 evals 将成核心 IP,收入转向财富 1000 强
soumitrashukla9 · x · 2026-09-26
Aaron Levie 引发讨论:企业无法自动化自己无法衡量的东西,evals 是 AI 在企业落地的关键门槛——非确定性流程(尤其是 agent 的工作)没有现成的软件测试手段,没有好的 evals 就无法判断什么在起作用、什么坏了、该多做什么。
引用方补充了与某大型数据标注公司的访谈要点:
- 该公司预计几年后大部分收入将来自财富 1000 强企业,而非 AI 实验室
- 每家企业都会想「拥有自己的智能」,但这不等于必须用开源模型
- agent 性能经过内部 eval 环境正确搭建后提升明显,企业的 evals 将成为其最重要的专有 IP
- 大多数企业还停留在编码 agent 阶段,主因是缺少让非工程类 agent 表现出色的 eval 基础设施
「编程与Agent」频道最新
- Exa 发布 Agent Ultra：蜂群 agent 并行编排，冲击深度研究 SOTA — garrytan · 2026-09-26
- 「手工编码」对冲 Vibe Coding,AI 圈新梗一语道破两种写法 — prajdabre · 2026-09-26
- Vercel stealth 上线神秘模型 Pixel Canary,Next.js 评测追平 GPT-6 Astra — cramforce · 2026-09-26
- steipete 反驳成本论：能打的模型已降至 0.1 美元/百万 token — steipete · 2026-09-26
- OpenClaw 作者复盘：同步 SQLite 访问成最大设计失误 — steipete · 2026-09-26
- Oh My Pi 支持自定义模型后端:vLLM、llama.cpp、SGLang 接入 — bolts98 · 2026-09-26