上线前6天发现代码里模型名是AI幻觉编造的,130个测试全没拦住
Trout_dev · reddit · 2026-10-11
一位开发者分享了一次惊险的部署前排查:代码网关里的模型名是 gemini-3.6-flash——一个完全不存在的字符串,距整个模型家族 10 月 16 日停用只剩 6 天才被发现。它通过了全部 130 个测试、Docker 构建正常,因为模型名只是字符串,没有任何类型检查或导入时校验,要到生产环境真实调用 API 才会报错。
帖子里还复盘了几个类似的坑:
- OAuth 撤销缺失:断开连接命令只删了 MongoDB 记录并返回"已解绑",从未调用 gmail.revoke(),Google token 依然有效;正确做法是断开后用旧 token 真实调 API 断言 401。
- Qdrant 稀疏向量:BM25 稀疏检索(股票代码不适合纯语义检索)无法在已有 collection 上原地添加字段,只能全量导出重建再回填,完成后检索 eval MRR 达 1.0。
- text-embedding-004 在线上 API 返回 404(文档里却有),若不发现,所有记忆写入会静默存空。
作者的核心结论:"通过全部测试"和"陌生人依赖时能正常工作"之间的差距,总比预期更大。
「编程与Agent」频道最新
- 问一句「有没有更高效的做法」,编码 agent 提速 6 倍省 8 倍成本 — venturetwins · 2026-10-12
- LangChain 发布 Managed Deep Agents：Agent 即目录，运行时全托管 — EdenEmarco177 · 2026-10-12
- 9B 小模型本地跑网页浏览 Agent,查资料最快 11 秒 — BangsFactory · 2026-10-12
- 「Vibe coding」该退役了:模型代码质量已超普通工程师? — signulll · 2026-10-12
- 用 AI 扫卫星图找脏车道,自动发 90 美元清洗报价 — nikitabier · 2026-10-12
- Sentry CEO 泼冷水：套壳 OTel+ClickHouse 的可观测性创业注定失败 — zeeg · 2026-10-12