LLM 能否用 RL 从零设计 DSL？keenan 长文重审 Bitter Lesson

eatnow240008 · x · 2026-09-19

一条有实质内容的技术讨论线程。提问者引用 keenanisalive 的观点：对 3D 学习而言，「苦涩的教训」（Bitter Lesson）没有正确考虑 Kolmogorov 复杂度——通俗版「扩大数据与算力总能打败面向问题的建模」并非 Sutton 的原意。以 LLM/agent 生成 3D 内容为例，真正惊艳的成果恰恰依赖问题特定的结构。

在后续讨论中，keenanisalive 认为 LLM 在不远的将来通过 RL 显著扩展乃至从零设计 DSL「很有可能」，但「从零设计」很难定义：任务是给你一堆图片和渲染器，让你造一门语言来重建 3D 模型？这带来一堆问题——例如渲染器本身已经编码了大量先验，而且如果没人用这门语言写东西，建这门语言也没意义：LLM 仍需为目标语言建模每个 token 的概率。