Decagon 打造自动研究循环，推理栈可自我优化

Decagon 工程师 Pavi Dhiman 与 Cyrus Asgari 发文分享其推理优化实践。团队认为每个推理端点面临的优化问题各不相同，取决于模型架构、流量模式、硬件与延迟约束，因此构建了一个「自动研究循环」（autoresearch loop），让推理栈能够自我改进，为每个端点持续生成定制化的优化方案。

2026-10-29 ~ 2026-10-29 · 2 条相关