观点：预训练决定低秩几何，RL微调仅能修形状

yuntatsai 提出观点称，预训练负责确定模型正确的低秩几何结构，而强化学习微调则只能调整该结构的形状。底层的低秩几何越完美，后续所需的微调就越少；反之，若观察数据存在巨大空洞，优化器将难以弥补，微调也无法修复低秩层面的基础性错误。

2026-08-21 ~ 2026-08-21 · 2 条相关

• 预训练定低秩几何，RL微调调形状 — yunta_tsai · 2026-08-21
• 预训练决定低秩几何，微调无法修复基础错误 — yunta_tsai · 2026-08-21