研究者提出 scaling laws 缺失参数 H：近年进步多靠人类投入而非算力
lateinteraction · x · 2026-10-16
研究者 shikibmehri 提出，scaling laws 里缺了一个参数 H——用于产生学习信号的人类努力/时间，他认为过去几年的大部分进步更适合归因于 scaling H 而非 N（参数量）或 D（数据量）：
- ChatGPT 优于 OPT 等同期模型，靠的是在高质量指令微调和 RLHF 数据上投入更多人力；
- 编程/数学/可验证任务的能力提升，来自人类在示范数据与过程奖励上的大量投入；
- 所有自我改进/递归自举（RSI）管线中，都烘焙了数小时高价值的人类直觉作为归纳偏置；
- 蒸馏「偷走」了人类努力的成本，让竞争对手得以 scaling D 并坐享你 scaling H 的成果（但存在上限）；
- 数据供应商如今能赚钱，正是因为 scaling H 的成本/价值远高于 D/N；
- 人类努力并非等价，最高信号量的 H 收益近乎无限。
配图为 Kaplan 与 Chinchilla scaling law 公式对比，点明传统公式只含 N 与 D。这一框架把「数据工程/RLHF 人力投入」提升为与算力并列的一等缩放维度，对理解行业竞争格局（数据供应商、蒸馏、self-improvement）很有解释力。
「漫话AGI」频道最新
- 有生之年见到机器证明新数学,AI 圈感叹时代拐点已至 — rand_longevity · 2026-10-16
- Yacine 直言神经网是懒惰蠢货:得造对地狱逼成超人 — yacineMTB · 2026-10-16
- Jeff Clune 调侃:移动球门柱将是人类最后一份工作 — jeffclune · 2026-10-16
- Replit CEO：未来是 AI 全权处理的「自动驾驶公司」 — TechCrunch AI · 2026-10-16
- Not Boring 周报：可解释性乐观论、飞行跑车与 tau 蛋白降 73% — Not Boring (Packy McCormick) · 2026-10-16
- Nature 论文用 LLM 绘制人类语言神经元地图,机制可解释性已成现实 — raphaelmilliere · 2026-10-16