HN 讨论:不自己跑 LLM 代理,你根本不知道发生了什么

amrrs · hn · 2026-10-19

HN 讨论帖,配套一篇博文,主张开发者应自建 LLM 代理网关来观测实际用量。核心论点:只依赖各厂商官方后台,你无法看清真实 token 消耗、费用分布、失败请求与模型行为差异;自己跑一层 proxy 才能统一记录日志、做路由与成本核算。讨论围绕自托管 LiteLLM 之类的网关方案与观测实践展开。

原文链接 →

「编程与Agent」频道最新

更多「编程与Agent」频道 AI 资讯 →