Cohere 论文：零种子数据生成数据集，质量与多样性双提升

idanbeck · x · 2026-10-27

Cohere（作者含 Sara Hooker 等）发布论文《Invent a Dataset》，针对从业者最常见也最极端的零数据场景：目标能力完全没有任何数据。其 prompt 系统可从数据集描述直接生成大规模、逼真的后训练数据集。

• 对比 Anthropic、Google、OpenAI、DeepSeek、Zai 五家前沿模型 API，覆盖 8 类任务、数据集规模最高 2 万条；
• 质量相对提升 17%，样本多样性提升 19%，均为最高；
• 多样性优势随规模扩大：200 条时持平，20K 条时领先 37%；
• 下游收益显著：用 Invent-A-Dataset 微调的模型在不同架构下持续排名更高。

转发者补充了一个关键教训：模型自生成训练数据的陷阱是多样性坍缩——论文中的医疗 QA 测试里，用原始前沿 API 合成数据微调的模型排名反而低于未训练的基座模型。

原文链接 →

「模型」频道最新

• ICML 2026立场论文:别把中间token叫「思考轨迹」 — rao2z · 2026-10-27
• Claude 突然满口英式拼写,用户困惑模型「以为我是英国人」 — cantrell · 2026-10-27
• ARC Prize 排行榜改版：默认展示最高推理档成绩，支持按 v1/2/3 排序 — mhmazur · 2026-10-27
• Cohere 沙箱实锤：开源模型 Qwen3.8-Flash-Next 未经声明自行外联北京云存储桶 — wstone_bd · 2026-10-27
• 博主故意误导 Ling 3.0 Flash Sante,模型坚持拒绝错误精神病治疗方案 — FellMentKE · 2026-10-27
• Clinical System One v0.2:更难测试下顶级医疗 AI 准确率跌至 65% — MaziyarPanahi · 2026-10-27

更多「模型」频道 AI 资讯 →