DiffusionGemma 后训练实践指南:哪种 SFT 目标真正有效
bodonoghue85 · x · 2026-09-11
扩散语言模型社区发布了新博客,系统探讨如何对 DiffusionGemma——首批大规模开源权重的均匀扩散 LLM 之一——进行后训练。文章梳理了社区后训练此类模型时「什么可行、什么会翻车」,并给出了实测中胜出的 SFT 目标函数,附完整推文线程,是扩散范式 LLM 微调的少见一手实践材料。
「研究」频道最新
- Fable 5.1 演示自主入职:agent 从反馈中沉淀可复用技能 — ysu_nlp · 2026-09-12
- M1 MacBook 一分钟训完四足机器人:mjbatch 1024 并行环境 — philfung · 2026-09-12
- 新方法将成对相互作用引入祖先序列重建 — KevinKaichuang · 2026-09-12
- 神经符号推理遭「错误但匹配判定」翻译欺骗,生成式奖励模型来救场 — CWRU · 2026-09-12
- AIRO 上线:用前沿模型自动预测 AI 灾难性风险,效果媲美人类专家 — soumitrashukla9 · 2026-09-12
- LiveBench agentic coding 评测遭质疑:4 个 Python 问题撑起异常高分 — teortaxesTex · 2026-09-12