社区热议 LLM 训练温度一致性与生成模糊丑图成因
AI 社区围绕 LLM 训练细节展开讨论:有观点提出'柏拉图式理想',认为模型训练时的条件分布应与下游采样分布保持一致,即训练与采样温度需一致,而 RL 阶段则应保持规范温度;另一讨论则反驳'自然图像本身也丑'的辩护,指出模型生成的丑图通常表现为 MSE 式模糊,与自然的丑陋图像不同,并分析了其根本原因,认为这类模糊样本暴露了模型生成能力的真实缺陷。
2026-08-21 ~ 2026-08-21 · 2 条相关
- 观点:LLM 训练应在采样温度下进行,RL 需保持规范温度 — kalomaze · 2026-08-21
- 探讨:为何模型生成的“丑图”呈 MSE 模糊状而非自然丑 — kalomaze · 2026-08-21