AI Stupid Level 号称可追踪 20 多家供应商的静默模型漂移
ionutvi · reddit · 2026-07-27
AI Stupid Level 是一个面向生产环境 agent 系统的模型漂移检测平台。
作者强调，即使模型名称没变，提供方的更新也可能改变：
- 推理质量
- 编码能力
- 指令遵循
- 延迟
- 输出格式
- 工具调用
- 拒答行为
这会导致一个原本稳定的 agent 工作流，在没有任何代码改动的情况下突然失效。
平台目前提供：
- 实时漂移检测
- 历史性能追踪
- 跨模型/跨供应商对比
- 基于任务的路由
- BYOK 集成
- 针对编码、推理、研究和结构化输出的测试
作者还称，该平台已接入 20 多家模型供应商，并在没有付费广告或外部融资的情况下做到约 9.8 万月活。他也在向 agent 开发者征集经验：如何发现模型被“静默更新”，以及哪些行为最值得长期监控。
「编程与Agent」频道最新
- 用 MCP 把 Blender 接 Claude，一小时做出游戏原型 — danbri · 2026-07-27
- Anthropic 推出 Claude 工作流套件：缓存、代码、设计、技能和定时任务 — aitrendz_xyz · 2026-07-27
- Anthropic 称 Prompt Caching 可把重复上下文成本降至九折 — aitrendz_xyz · 2026-07-27
- Claude Design 面向提案和原型，可导出 PPTX 与 HTML — aitrendz_xyz · 2026-07-27
- CLAUDE.md 让项目规则、文风和术语跨会话生效 — aitrendz_xyz · 2026-07-27
- Anthropic 的 Skills 把能力打包，任务匹配就自动启用 — aitrendz_xyz · 2026-07-27