微调版 Gemma 4 31B 骗过盲测评委 26%,原版为 0%
kvyb · reddit · 2026-10-30
独立开发者发布开源微调模型 Gemma-4-31B-Humanlike-Chat(基于 google/gemma-4-31B-it,Apache-2.0),把前作 Qwen3.8-27B-Humanlike-Chat 2.0(GGUF 累计 13.6 万下载)的「像人发消息」风格迁移到 Gemma 4 31B 上。
核心指标(与 Google 原版同提示、greedy 解码对比):
- 盲测「猜哪条是人写的」:微调版 26% 被评委认成真人,原版 Gemma 4 31B 为 0%;
- When2Call(该调用/追问/拒绝):66 vs 46;BFCL irrelevance(无合适工具时不硬调):90 vs 81;MMLU-Pro 持平 82.5;
- 对比 Qwen 2.0:LiveCodeBench 66 vs 51,IFEval 90.0 vs 83.4。
训练方法(单张 H200,两步):
- SFT:13,740 行,含前作回复、Google 原版指令/代码答案、盲测人类偏好与人工修正;
- On-policy distillation 12 步:学生模型自写回复、双教师逐 token 打分,聊天教师带「隐藏指令」让其像人发消息,学生看不到指令,从而无需 system prompt 即可像人;
- 自博弈长对话修复了长对话尾部退化为单词回复的问题(SFT 后 28% → 蒸馏后 12%)。
GGUF 与 safetensors 均已在 Hugging Face 开源。
「模型」频道最新
- 开源听写工具合入 Google MedASR:医疗语音识别支持已进主干 — DrDatta_AIIMS · 2026-10-30
- 10人初创发Phonic-1语音模型，边说边查工具，融资2750万美元 — rohanpaul_ai · 2026-10-30
- OpenAI 内部模型「Bel」身份成谜,泄露信息可信度难辨 — haider1 · 2026-10-30
- SenseNova 发布 Loop-9B：24 层循环复用实现 56 层执行深度，支持 256K 上下文 — jacek2023 · 2026-10-30
- GLM 5.3 零人工介入 48 小时内独立构建完整 Firefox 漏洞利用链 — The Decoder · 2026-10-30
- 网友押注：2027 年前模型将自行发现整数分解算法 — mgostIH · 2026-10-30