TrackLLM 监控 800+ LLM API 端点,发现 184 次未披露的模型变更
giffmana · x · 2026-09-09
研究团队发布 TrackLLM,一个持续监控 LLM API 静默变更的工具。
- 规模:跟踪 77 家 API 提供商的 800+ 端点(250+ 模型),其中 261 个活跃端点,自 2025 年 6 月以来记录了 1510 万次查询。
- 方法:在暴露 logprobs 的端点用 logprob tracking(LT),否则用黑盒边界输入追踪(B3IT),以低成本检测输出漂移。
- 发现:已检测到 184 次变更(76 次 LT、108 次 B3IT),绝大多数未被提供商披露。案例包括 Gemini 3.1 Pro Preview、Claude Sonnet 4.5 on AWS、DeepSeek V4 Flash 多个量化版本等的输出偏移。
- 用途:研究者和应用开发者可查看所依赖端点的稳定性,并按端点/模型/提供商订阅新变更通知。
对依赖第三方 API 的工作而言,这是模型行为不可复现问题的实证揭示。
「模型」频道最新
- K2 Horizon 开源六个规模模型，0.9B 版 AIME 拿 48.5 分 — kimmonismus · 2026-09-09
- IFM 开源 K2 Horizon 全家桶:6 个尺寸、每模型 20T tokens、连 reward-hacking 审计都公开 — kimmonismus · 2026-09-09
- IFM K2 Horizon 全家桶:0.9B到375B六款模型一套工具链 — kimmonismus · 2026-09-09
- 开发者上线聚合站，汇集 OpenAI 纳维-斯托克斯证明各方表态 — NathanpmYoung · 2026-09-09
- Meta 发布个人智能体 Muse,由自研 Muse Spark 1.3 驱动 — AIatMeta · 2026-09-09
- GLM-5.3 访谈:性价比、AA 新智能指数与 Flash 架构 — philipkiely · 2026-09-09