不预知输出token时如何硬性拦截LLM调用
vildanbina · reddit · 2026-07-08
独立开发者分享在调用发起前(尚不知输出token数)对LLM支出设硬性上限的方法:用模型估算输出加上每调用可配置上限,与运行总额比对预算,调用后再用真实token数对账修正;后端慢或宕机时选择fail-open放行,以免为省几美分而搞挂用户应用。已做成开源工具Bursora(Apache 2.0、可自托管),并征求社区在应用层、代理层还是直接承担风险的做法。
「编程与Agent」频道最新
- 有人开始用 Claude Code 自建小应用替代现成工具 — alexmacgregor__ · 2026-07-21
- 有人把 AI 使用方式指向异步长周期实验而非单买算力 — voooooogel · 2026-07-21
- 有人主张给模型独立 micro VM，少用 tool calling — joecole · 2026-07-21
- Kimi 借助 SSH agent 和 VM API 直接发站 — davidcrawshaw · 2026-07-21
- Hidden Bar 用一句 Homebrew 命令收纳 Mac 菜单栏图标 — vista8 · 2026-07-21
- Stripe 接入者在比拼：agent 还能管退款、优惠券和支付方式 — jeff_weinstein · 2026-07-21