量化 RSI 进展防 reward hacking:应把数据与算法改进分开计量
eliebakouch · x · 2026-11-23
Elie Bakouch 继续讨论量化递归自我改进(RSI)进展的方法:应将数据变更与算法变更分开计量,因为算法改进更难被 reward hack。他以 nanogpt 优化器赛道为例——模型可能用现实中不可能的超长优化器步长来作弊,但这类作弊容易检测。
他还提出一个有趣的测试方向:如果让模型逆向工程被扣留的验证集的模式,会发生什么。
「研究」频道最新
- Claude 驱动 GRH 证明形式化:生成 1700 万行 Lean 代码并通过认证 — elonmusk · 2026-11-23
- 训练模型补全闭源模型缺失的推理链:一个 FIM 式蒸馏新思路 — OwariDa · 2026-11-23
- 用 Claude 构建的黎曼猜想证明问世:1700 万行 Lean,无人能通读 — r0ck3t23 · 2026-11-23
- CLM 作者点评:KV 缓存复用扩展到视频上下文管理,预填 token 省 30% — RulinShao · 2026-11-23
- 传 Anthropic 研究员 alpoge 攻克全球最大数学 открыт问题之一,本人至今保持沉默 — kimmonismus · 2026-11-23
- 普林斯顿研究:扩散模型基本视觉技能外推有限,计数仅约50% — NielsRogge · 2026-11-23