干掉大模型的 AI 腔:Scotoma-2 微调去除 Gemma4 套路化文风
CelvestianNesy · reddit · 2026-08-07
社区开发者发布了针对 Gemma4-31B 的微调模型 Scotoma-2,旨在消除原模型恼人的套路化文风(如堆砌形容词、"这不是X而是Y"的句式),同时保留其原有智能。
技术路径:
- 消融与投影:使用 Heratic 工具进行消融,并通过 J-lense 投影隔离并干扰导致问题的 Assistant 人格,保留模型智商
- DPO 训练:构建被拒绝 vs 被接受的数据集,针对文风问题进行 4 次独立的 DPO(直接偏好优化)训练
效果对比:在《双峰镇》Dale Cooper 角色的测试中,原版充满刻板的缓慢点头和做作的沉思,而 Scotoma-2 的表达更自然直接。
「模型」频道最新
- Gemini 3.6 Flash 跑 ARC-AGI-2 成本暴降,得分破 60% — fchollet · 2026-08-07
- 传字节跳动正筹备训练 5 万亿参数大模型 — scaling01 · 2026-08-07
- 分析指 GPT-6 若结合庞大预训练与 OpenAI 后训练优势将迎突破 — haider1 · 2026-08-07
- OpenAI研究员详解Hugging Face事件与模型错位 — Eric_Wallace_ · 2026-08-07
- 月下载破两百万?开源社区质疑魔改版 Qwen3.6 涉嫌虚假宣传 — AvidCyclist250 · 2026-08-07
- 月之暗面 Kimi K3 开源模型上线 Databricks,强化企业级数据应用 — matei_zaharia · 2026-08-07