LLM 输出成本控制代理
Atriou2 · reddit · 2026-07-10
作者因为少数超长 LLM 输出把账单拉高，做了一个放在模型供应商前面的代理层，用来自动限制异常长回复。 核心做法包括： - 按路由观察真实输出长度，把上限设在接近 p99 的位置，只截掉极端长尾请求。 - 截断时尽量保留完整句子；如果返回的是 JSON，还会尝试修复，确保仍可解析。 - 支持按天、按 key、按路由、按终端用户设置美元预算，并在请求到达供应商前直接拦截。 - 兼容 OpenAI 和 Anthropic 的请求格式，基本只需改 base URL 就能接入。 这个工具是 BYO key 模式，不存储 prompts 或 responses，只记录 token 计数。作者开放了免费 beta，希望有人把真实流量接进去测试稳定性。