实验:一个 BOS token 改变 40% 的 LLM 回答
Full-Travel857 · reddit · 2026-11-08
Reddit 用户对 Bielik-Minitron 7B(Q4KM,Ollama,temperature 0,seed 42)做了一组控制变量实验,发现 Ollama 给该模型用的 chat template 缺少了 GGUF 模板中的 BOS token <s>。
实验设计:15 个任务(波兰语、JSON、Python),三个变体——Ollama 模板、手动 prompt 无 BOS、手动 prompt 加 BOS,每变体重复 3 次共 135 次试验,每次试验前卸载模型、清空缓存,确保唯一变量是 BOS。
结果:
- 模板与无 BOS 的 Raw 在全部 15 个任务上输出完全一致;
- 加上 <s> 后,15 个回答中有 6 个发生变化(40%),prompt 长度仅增加 1 个 token;
- 质量上仅 1 个任务的通过判定改变:波兰语变音符号任务从 0/3 → 3/3,整体从 11/15 → 12/15;其余变化涉及标点、解释长短、JSON 格式和循环写法。
作者明确声明:不主张加 BOS 会普遍提升质量,只证明一个输入 token 就足以改变 40% 的回答——这对建立可控、可复现的模型测试条件是重要警示。
「研究」频道最新
- Agent S4:让智能体从任务经验中自进化可复用交互接口 — burkov · 2026-11-08
- 斯坦福教授评权重空间编辑论文：方法已获多方复现，但适用边界仍不明 — anshulkundaje · 2026-11-08
- CrowdGPT 发起去中心化协作训练：无数据中心、数据权重全公开 — Vxtzq1 · 2026-11-08
- 用 ChatGPT 复现发现：FDT 论文算法在近似孪生囚徒困境中选择背叛 — xuanalogue · 2026-11-08
- 历史报纸数据开放书上线,附 R 工作流与 AI 导师伴读 — burkov · 2026-11-08
- 审计 400 条机器人遥操数据：删掉坏样本反而更差 — R4nsack · 2026-11-08