Anthropic 疑用「数据策展 RL」堆预训练数据,数据质量可换数量级效率
willcb · x · 2026-11-14
willcb 在与 @teortaxesTex 的讨论中提出一个解释框架:如果给定算力预算与评测集存在「最优数据集」,而 Common Crawl 这类原始语料效率很低,那么用上一代 Claude 做数据策展 RL、把预训练语料换成 Claude 精选的课程式数据,就能用几个数量级的数据策展开销换来漂亮的 sigmoid 型扩展曲线。
他对相关传闻的态度:
- 那张流传的图本身含糊,不知道确切含义
- 他不相信 Anthropic 单靠算法改进就能在 bpb(bits per byte)上获得大系数提升——若真是那样将是巨大更新
- 其他实验室(如 Thinking Machines)也宣称过同规模下 bpb 有一数量级以上的改进
实质观点是:与其说是算法魔法,不如说是把算力花在数据质量策展上,用数据换规模效率。
所属事件:Anthropic IPO 路演图曝光：预训练算力效率超指数提升引热议(12 条相关)→
「模型」频道最新
- Claude Fable 5.2 生成 3D 宫殿演示：建筑细节与体积云惊艳网友 — mark_k · 2026-11-15
- Claude Fable 5.2 花 2.5 小时用 MS Paint 画圣诞街景，API 成本约 45 美元 — randal_olson · 2026-11-15
- 网友实测：前沿 LLM 或在蛋白质数据上做过训练，变体排序接近 ESM2 — alex_peys · 2026-11-15
- 文心 Ernie 5.5 Flash 预览版现身 RuneBench，号称接近 GLM 5.2 水平 — mariofilhoml · 2026-11-15
- 双 DGX 工作站跑 GLM-5.3：并发 16 达 607.8 tok/s，32 并发延迟飙至 453 秒 — petrusenko_max · 2026-11-15
- 网传 Gemini 4 Hydrogen 定位 Agent 快执行,真伪存疑 — feblet · 2026-11-15