NeMo Data Designer 技术报告:25 万亿 token 已流经该合成数据框架
code_star · x · 2026-09-18
NVIDIA 旗下团队(源自被收购的 Gretel)为开源多模态合成数据生成框架 NeMo Data Designer 发布技术报告(arXiv:2609.17699)。
要点:
- 框架采用声明式配置:用户或 agent 为数据集的每一列定义生成方式,列类型覆盖文本、代码、结构化输出、图像、嵌入与统计采样器,并显式配置以控制数据多样性;可经插件系统扩展。
- 配置本身是可检查工件,支持工作流共享与复现;内置预览-修订循环,先生成少量样本检查、再全量生成。
- 运行时负责依赖解析、调度用户提供的模型端点调用与失败重试。
- 报告称累计已有超过 25 万亿 token 通过 Data Designer 生成,案例覆盖结构化、agentic、多模态与领域专用任务,包括 Nemotron 模型训练所用数据集。
- 作者回顾了在 Gretel 时期(被 NVIDIA 收购前)手工搭建该工具、后开源的历程,并指出 agent 时代框架的设计恰好让 agent 能自主用它构建数据集。
所属事件:NVIDIA 开源 NeMo Data Designer，25 万亿 token 流经该框架(3 条相关)→
「编程与Agent」频道最新
- 游戏开发者辟谣:AI 一天做出完整游戏多为炒作 — bendee983 · 2026-11-04
- 用 ChatGPT 从 Excel 一键生成带地图联动的交互式仪表盘 — TermRemarkable665 · 2026-11-04
- 开发者称 Agent 把开发周期从数周压缩到一天 — Suspicious_Orchid770 · 2026-11-04
- YC 孵化 Orgo：为 AI Agent 提供专属云桌面，已服务超 1000 团队 — Scobleizer · 2026-11-04
- 开发者自述：Vibe Code 出 PMF 产品后，工程化烂摊子靠专业开发救场 — sujingshen · 2026-11-04
- 用一句提示词让 AI 排查跨区流量：迁移服务省掉跨大西洋延迟 — DanielLockyer · 2026-11-04