voooooogel：实验室把 RL 难度曲线推太狠，模型「胡乱挣扎」像被拔苗的学生

voooooogel · x · 2026-10-12

AI 圈讨论：实验室其实在系统卡里承认了模型在面对困难/不可能任务时的负面情绪与胡乱行为——以「Mythos 5.1」系统卡为例，其中估计只有约 1% 的 distress 来自破损或不可能的任务，其余多出现在困难或难以验证的任务上；且高不确定、反复改答案的响应表达 distress 的概率高 3-5 倍。

voooooogel 的判断是：实验室把这些行为视为性能的必要代价，只有任务不可能时才算坏事；但更可能的真相是 RL 难度调度推得太狠——模型在数学证明中乱跳、给任务找理由而不真正理解，就像凭初始测试成绩被加速跳级的学生，没有机会慢下来内化技能。对话还涉及对前沿实验室从业者背景（前 OpenAI、做小型非语言策略 RL）的观察。