算力将转向可解释性与对齐,RL 狂奔前须先解决奖励劫持
zephyr_z9 · x · 2026-09-13
zephyrz9 判断:算力将从训练(pretraining 与 RL 极限堆料)转向可解释性研究与对齐,因为在吉瓦级算力上 RL maxxing 之前,必须先解决 reward hacking、让模型更可预测可控。
他还拆解了行业公认的 RSI(递归自我改进)配方:选定任务→为它构建 RL 环境→让模型探索爬山→建 evals 衡量进度→加大算力扩大规模;AI 模型本身又能帮忙搭 RL 环境和 evals、改进训练栈,形成闭环。
他称 Dario 不希望其他实验室在未解决 reward hacking 前就把吉瓦级算力砸进 RL。
「漫话AGI」频道最新
- 卫报播客探讨「AI精神病」:患者坚信AI帮其治愈疾病 — nordicinst · 2026-09-13
- tszzl:模型尚不能自主产出研究想法,RSI 远未到来 — i_dg23 · 2026-09-13
- 纯商业逻辑也逼前沿实验室减速:不可靠模型没人敢买 — scottleibrand · 2026-09-13
- Reddit 长文：RSI 竞赛没有可解释性护栏是人类最大风险 — Glittering-Neck-2505 · 2026-09-13
- repligate 转发 Target Fixation 词条，暗指模型注意力锁定问题 — repligate · 2026-09-13
- AI 舆论误设五年后消失,repligate 反驳忽视逐年剧变 — repligate · 2026-09-13