微调文本编码器破解 Ideogram 4 横幅并提升自然语言遵循

mrjackspade · reddit · 2026-09-03

作者分享仅微调 Ideogram 4 的文本编码器(TE)来解决两个痛点的实践:移除用自然语言提示时常见的灰色横幅,并提升 prompt 遵循度。做法是用 4000 组师生提示对——学生为自然语言提示,教师为经 Nemotron「Magic Prompt」指令处理的提示——训练 TE,使模型对自然语言提示的响应与教师提示天然引出的响应一致。作者的理由是 TE 本身已是语言模型,不希望在管线里再引入第二个语言模型,且未对模型本体和执行环境做任何其他修改。作者承认有边框、噪声注入等替代方案,此实验更多是验证这条路线可行,权重已开源在 Hugging Face。