德国小银行自托管 Llama 3.3 70B 遇审计难题:prompt 版本可追溯怎么做

CommonMinimum587 · reddit · 2026-11-19

德国一家小银行的三人 ML 团队分享生产环境合规难题:他们在自己机房用两块 A100 + vLLM 跑 Llama 3.3 70B 做内部政策助手,但审计追问上月一次错误回答对应的 prompt 与文档版本时无法回答。备选方案有二:一是 DIY——LiteLLM 管密钥和日志 + 自托管 Langfuse 做追踪;二是 Orq.ai——支持本地 Helm 部署(可气隙隔离)、接入私有 vLLM 端点、为每个 prompt 保留版本历史,企业版才有审计日志但定价不公开。作者向社区求证:审计方是否接受自托管工具的日志,还是要求可问责的供应商。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →