RLM 版 Bitter Lesson：分解式 harness 可能主导泛化

viksit · x · 2026-07-21

这条讨论把 **Bitter Lesson** 重新解释为：真正重要的不是给模型塞更多领域特化结构，而是让系统具备更强的**分解、组合与并行化**能力。作者用 CPU 发展作类比：单核频率到头后，继续提升性能的办法不是单纯加速单个核心，而是把任务拆开并行做。对应到 LLM / RLM 场景，随着上下文长度和任务时间跨度变长，单纯堆参数当然有帮助，但更大的收益可能来自能改善泛化的 **big-O 级创新**，也就是更好的 harness、任务分解和组合机制。引用的线程进一步提出一个更具体的观点：当训练的任务“看起来不同、但结构相同”时，根模型会自然学到相同的轨迹；换句话说，真正负责泛化的可能是 **harness**，它通过组合把不同任务映射到同一结构空间。