动态模型路由器:基于上下文状态智能匹配推理层级
testingcatalog · x · 2026-08-05
一款新型的 AI 模型路由器引发关注。该路由器在推荐合适的模型和推理等级前,会综合评估多项上下文状态,包括 KV Cache 状态、子智能体结构、压缩事件以及完整的会话历史。
- 性能与隐私:每次调用仅增加 100-150 毫秒的延迟。同时提供隐私保护模式,允许仅传输派生出的元数据进行路由决策,确保核心数据负载不离开本地技术栈。
- 定价:采用按量付费模式,每路由一百万个 Token 的起步成本为 0.05 美元。
「编程与Agent」频道最新
- AgenC Core 大修:补丁处理提速 32 倍,强化记忆与恢复 — tetsuoai · 2026-08-05
- 获近 3 万星,开源 AI 求职框架爆火 GitHub — adnan_hashmi · 2026-08-05
- AI 编程实践:子智能体应支持后台并行与持续委派 — brandon_galang · 2026-08-05
- 微软开源 Orchard 框架:支持小模型训练与评估 AI 智能体 — adnan_hashmi · 2026-08-05
- 具身智能新尝试:AI Agent自主规划搬运3D打印机 — neurosp1ke · 2026-08-05
- 如何为 Claude Code 与 Codex 构建跨平台的统一技能库? — jlconlin · 2026-08-05