两个本地模型的 chat template 静默坑掉 agent 客户端,作者给出排查清单
viest_me · reddit · 2026-11-09
一位在 M3 Max MacBook 上用 llama-server(v0.7.0)给 Codex 和 Pi 等 agent 客户端跑本地模型的开发者,发现两个模型的内置 chat template 各有不同寻常的 bug:
- MiniCPM-V 4.7:遇到对话中段出现的第二条 system/developer 消息直接抛异常 "System message must be at the beginning."
- Ornith-1.5-35B-A3B:更隐蔽——静默丢弃后面的 system 消息,agent 中途插入的指令根本没送达模型,什么报错都没有。
- LFM2.5-24B-A2B 自带模板则正常。
为什么直接改 llama.cpp 的模板:Ollama 不接受修改后的模板,改一下等于复制重写整个 22GB GGUF,还会自行插入默认 SYSTEM 消息;llama.cpp 支持启动时传模板文件:llama-server -m model.gguf --jinja --chat-template-file chattemplate.jinja。
作者的连接前三步检查:
- 用 llama-server 的 /apply-template 端点渲染 prompt,读模型实际看到的内容;
- 在对话中段发 system + developer 消息,确认两者都出现在渲染结果里;
- 每次改模板后重测 tool call、图像输入、空闲卸载后的唤醒。
结论:坏模板对模型表现的伤害比任何参数设置都大,怪模型权重之前先查模板。
「编程与Agent」频道最新
- YC 掌门 Garry Tan 开源 gbrain 智能体大脑，GitHub 星数破 3.2 万 — garrytan · 2026-11-09
- 用 MCP 让 Claude 和 ChatGPT 直接控制 Home Assistant,开源项目破 5500 星 — homeassistant-ai · 2026-11-09
- 评论：大量 agentic AI 系统过度建设，退潮或为健康回调 — DavidLinthicum · 2026-11-09
- 架构论文过审：用真值维护系统解决 LLM 记忆的信念修正问题 — letandrewcook · 2026-11-09
- 决策/抽取专用模型兴起,保险理赔流程从 61.7 秒缩至 19.3 秒 — max_gladysh · 2026-11-09
- 用户在 Grok 上搭「幕僚长」agent：多任务并行只发一份简报 — RachelVT42 · 2026-11-09