Ben Lorica:AI 数据问题已转移,从找原料变为加工可用
bigdata · x · 2026-10-02
Ben Lorica 在 Gradient Flow 撰文指出,AI 的数据瓶颈已从「有没有原料」转向「如何把信息变成系统可用的形式」。
- 机器人侧:多家公司已在大规模使用人类视频训练机器人——一家报告用了超 100 万小时视频,另一家把约 1900 小时第一人称人类 footage 转化为 1.8 万多小时机器人格式训练数据;关键不在于数据集存在,而在于都需要大量工程把人类经验转成机器人可用格式。
- 网页侧:方向相反,信息早已存在,但获取变得有条件。有学术出版商对 AI 研究产品开放检索、但明确不授予训练权。「用于 AI」正分裂为训练、检索、推理等独立权限。
- 技术基础设施同步演进:网站所有者已能区分搜索、训练与 agent 爬虫;某闭测系统甚至允许爬虫收到带定价的 HTTP 402 响应。
结论:数据工作的重心正整体向下游的「可用化加工」与「权限协商」迁移,机器人学习与 agent 抓取是这一趋势的两个面。
「Infra」频道最新
- 网友用两台 DGX Spark 加 5090 搭出全本地 LLM 电台 — jwhh91 · 2026-10-02
- 投资人吐槽:多数 neocloud 可靠性只有“九个五”,远不到五个九 — saranormous · 2026-10-02
- 传贷方要求 NVIDIA 芯片贷款需 25% 抵押,算力融资链现裂缝 — GaryMarcus · 2026-10-02
- 微软携 Snowflake 推商业指标标准化，助 AI 工具读懂企业数据 — xiaosun86 · 2026-10-02
- GLM-5.3-Flash NVFP4 的 SGLang 部署配置全公开 — TheZachMueller · 2026-10-02
- GLM-5.3-Flash NVFP4 实测：并发超 8 后单用户速度不再提升 — TheZachMueller · 2026-10-02