DigitalOcean 开源基于偏好的模型路由技术
AI Engineer · youtube · 2026-08-22
Archana Kamath 与 Tyler Gillam 介绍了基于偏好而非基准测试的模型路由方案。演示显示，在完成相同任务时，动态路由会话成本仅需 8 美分，而单一顶级模型需 25 美分，且随着请求增加差距扩大。
核心观点：
- 不存在单一最佳模型，只有针对特定请求、系统提示、工具、成本和延迟需求的合适模型。
- 路由器接受自然语言或决策树规则定义的偏好，并在每次请求时执行。
技术细节：
- 基于 MoE 模型构建，决策延迟低于 200 毫秒，无额外成本。
- 评测显示路由正确率达 90%（单一顶级模型为 95%），但使用更少 Token 且更快。
- 代理与路由器均已开源，无需修改代码即可接入。
「编程与Agent」频道最新
- 腾讯发布 UI-Mate-27B，支持桌面 GUI 智能体操作 — tencent · 2026-08-24
- 实测对比：从 DeepSeek 到 Claude 二十美元订阅 — Unlikely_Bluejay5392 · 2026-08-24
- Claude Code 推出远程控制功能，编码效率提升 — rohanpaul_ai · 2026-08-24
- Vercel CEO rauchg 详解 fx 扩展哲学：MCP、Skills、插件与 Unix 组合 — AccBalanced · 2026-08-24
- Netflix 揭秘 LLM Judge 生产实践：每周评估数十万条推荐解释 — omarsar0 · 2026-08-24
- Simon Willison 用 Fable 5 实测 smolvm：硬件级隔离沙箱获认可 — yawnxyz · 2026-08-24