在 16GB GPU 上微调 Qwen3-1.7B,让模型写不出字母 e
CatAstro_Piyush · x · 2026-10-26
Kevin Wu 分享了一个本地 RL 微调实验:在自己的 16GB GPU 上对 Qwen3-1.7B 做强化学习,让模型回答日常问题时不使用字母 'e'(称为 lipogram 约束)。
关键发现:
- 这项任务比想象中难,原因和 LLM 数不清 strawberry 里几个 r 一样——模型以 token 而非字符读取文本,根本"看不到"某处是否有 'e'。
- 直接把 'e' 对应的 token mask 掉,输出会变成乱码;而用 RL 训练,模型能学会连贯地绕开该字母。
- 文章附了前后对比:微调后的模型写诗、答冷笑话等都能保持语义连贯且全篇无 'e'。
作者公开了完整 writeup 和代码,是一个可复现的入门级 RL 微调案例。
「研究」频道最新
- HiP3R 开源:局部重建拼接实现千帧长视频3D场景一致性 — ccloy · 2026-10-26
- AlphaFold 数据集攒了 50 年，细胞模拟远未解决 — shae_mcl · 2026-10-26
- ThousandML 开源 4-bit CQ 量化微调:验证损失比 Unsloth 低 17.4% — textclf · 2026-10-26
- Mira Murati 挑战「模拟生物学离不开实验」论,学界掀激辩 — anshulkundaje · 2026-10-26
- Morgan Levine 撰文:理解生命需要超越人类直觉的多尺度视角 — DrMorganLevine · 2026-10-26
- 南大发布 Omni-Woodpecker：免训练修正全模态大模型跨模态幻觉 — nanjinguniv · 2026-10-26