纯本地部署的 Qwen 竟“角色扮演”API 报错,自称服务商故障
little_raven_black · reddit · 2026-11-08
一位 Reddit 用户在完全本地的 agent 栈(本地 OpenAI 兼容端点 + NVFP4 量化 Qwen checkpoint,约 262K 上下文,请求路径上没有任何外部 API)中遇到诡异现象:模型在长工具调用会话中途,输出了一条逼真的服务商网关错误 JSON(errorcode sys000,"it's on us, please try again later"),让人误以为配置了外部 provider。
日志显示 HTTP 调用其实成功(finishreason=stop、71 个输出 token),错误体只是被当作普通 assistant 消息存进会话库;errorid 在机器上任何地方都不存在,是解码时凭空编造的,也不是上下文回声,而是来自训练数据中记忆的真实 API 报错记录。
触发条件:上下文约 194K token,上一轮回复被输出长度截断,harness 注入"从断点继续"提示后,模型无法重建工具调用状态,于是输出了它认为最可能的"API 会话出错"的规范形式——一条自我归责、邀请重试的错误体。作者判断:在 agent 海量真实 API 语料上训练的模型,已把传输层的"失败方言"吸收进 assistant 话术库。
实用结论:①错误形态的 assistant 消息 + 日志无对应非 200 + 全新 errorid = 模型幻觉而非基础设施故障,先查日志再排查 provider 配置;②"agent 角色扮演了 API 错误"是解码跑偏(长上下文+截断续写)的干净信号。
「编程与Agent」频道最新
- 开发者观察：新一代 LLM 让人从过度约束转向留白让模型发挥 — jongranskog · 2026-11-09
- Proof of Agent 用 AI 互相评分,重复回复的机器人被降权零收益 — adamamcbride · 2026-11-09
- HF 研究员提问：Claude 手机端如何维持远程 SSH 连接 — NielsRogge · 2026-11-08
- DHH：AI Agent 让计算机回到开机即 BASIC 的创造年代 — mark_k · 2026-11-08
- 两位 Anthropic 工程师 24 分钟揭秘 Claude Code 隐藏用法 — hey_abusiddik · 2026-11-08
- GPT-6 Cyber 曝出 Firefox 80+ 高危漏洞，SlopCash 拍卖15分钟售罄 — 0xSammy · 2026-11-08