jd_pressman 晒对齐路线图：Weave 算法加 Gillen 量化器双管治理 Goodhart

jd_pressman · x · 2026-10-16

jdpressman 在回复中进一步阐述其想法，并附出 Discord 讨论截图：Fedorov 提出用「Weave 算法」（待改名）缓解因果性 Goodhart——类似「人类对海洛因有抗性」那样的抗性机制，对不可靠目标长期运行仍会被腐蚀；对极端 Goodhart 则用 Gillen 量化器（源自 SERI ML 对齐理论学者项目的《Soft optimization makes the value target bigger》一文），让 agent 了解目标表示的可靠性并据此限制优化功率。

其他要点：价值加载主要是数据问题，最有价值的信号是司法与经济数据——因为这是人类被迫表现得异常理性和一致的领域，噪声最小；还可用电子游戏探查内在动机结构；对抗样本/越狱抵抗暂列为低优先级，「可以留给种子 AI 当作业」。