温度 0 固定种子也复现不了:Ollama 提示词缓存竟改变模型输出
Full-Travel857 · reddit · 2026-11-07
一位开发者用本地 LLM 评测工具测试波兰语语法时发现:即使 temperature=0、seed=42,Ollama 是否复用 prompt cache 会导致输出不同。他随后做了控制实验:
- 3 个模型、10 组模型–提示词、4 种条件(流式开关 × 模型是否常驻)、每种 5 次,共 200 条响应;
- 流式与否无影响;关键差异来自 prompt cache 状态;
- Bielik-Minitron 7B 在卸载模型后答对波兰语历史语言题 5/5,缓存命中时答错 5/5。
作者不断言是 bug,但结论是:固定种子反复跑同一提示词,若不控制服务器状态,测的可能不是你以为的东西。他已为评测工具 AI Bóbr 0.8.1 加入受控测试模式(每次先卸载并校验、记录缓存统计),准备重跑 11 模型基准,并征集其他人的类似观察。
「Infra」频道最新
- Epoch 估算:华为和林格尔数据中心算力仅为主流 Colossus 2 的 7% — Jsevillamol · 2026-11-07
- Musk 宣布 SpaceX 2027 Q3 起发射轨道超算 StarMind,与 NVIDIA 共同设计 — XFreeze · 2026-11-07
- Netflix 用本体做可观测性:遥测、事故与服务关系连成知识图谱 — JeremyCMorgan · 2026-11-07
- 超大规模云厂商开始收割 Neocloud:Google 买下 Crusoe 怀俄明数据中心 — SumitGup · 2026-11-07
- Burry 做空 Oracle 301 天:股价自高点跌 66%,验证空头判断 — kingslyj · 2026-11-07
- 分析师:中期选举后 AI 供应商估值已低于自家增长预测 — BenBajarin · 2026-11-07