微调 Gemma 31B 治好「Elara 病」：30 次生成从重名到 60 个全不重样
zoraruha · reddit · 2026-10-25
开发者 zoraruha 发布微调模型 Monadize（基于 Gemma 4 31B），专门解决角色名生成高度重复的问题——基座模型总爱输出 Elara、Elias 这类名字。
- 方法：不是靠 prompt 排除常见名或禁用 token，而是直接改动 next-token 概率分布：引入新名字时用单字符 tokenization，让首 token 分布显著拉宽；分布对比图显示起始字母的覆盖范围大幅扩展。
- 实测：温度 1 下各生成 30 个角色名和城市名，基座模型大量重复（如 Elias Thorne 出现 10 次、Aethelgard 出现 15 次），Monadize 产出 60 个互不重复的名字。
- 副作用：讲故事风格也出现明显差异，作者附上同一 seed 下两版短文对比。
模型已开源在 Hugging Face：zoracapri/gemma-4-31B-Monadize-v0.1。
「模型」频道最新
- Liquid AI 发布 d1.1:决策质量逼近 d1-ultra,价格不到一半 — JosephJacks_ · 2026-10-25
- 重度用户实测：Claude $20 Pro 带 Opus 5.5 性价比大增，从 5x Max 降级 — haider1 · 2026-10-25
- Drex 2.0 开源：21GB 权重本地跑，Apple Silicon 上延迟 113ms — flngr · 2026-10-25
- 5 道判断题测你对 LLM token 机制的常见误解 — ClickOk5811 · 2026-10-25
- 曝 OpenAI 10 月重启前沿训练:改用离线网络副本,agent 还挖出 Brotli RCE 漏洞 — mark_k · 2026-10-25
- Claude 周限额被榨到 96%,用户喊话放码求额度 — adonis_singh · 2026-10-25