德国小银行自托管 Llama 3.3 70B 遇审计难题:prompt 版本可追溯怎么做
CommonMinimum587 · reddit · 2026-11-19
德国一家小银行的三人 ML 团队分享生产环境合规难题:他们在自己机房用两块 A100 + vLLM 跑 Llama 3.3 70B 做内部政策助手,但审计追问上月一次错误回答对应的 prompt 与文档版本时无法回答。备选方案有二:一是 DIY——LiteLLM 管密钥和日志 + 自托管 Langfuse 做追踪;二是 Orq.ai——支持本地 Helm 部署(可气隙隔离)、接入私有 vLLM 端点、为每个 prompt 保留版本历史,企业版才有审计日志但定价不公开。作者向社区求证:审计方是否接受自托管工具的日志,还是要求可问责的供应商。
「Infra」频道最新
- Kong 年跑 500 万亿 token 后推出 Volcano 自愈式 Agent 云 — EXM7777 · 2026-11-19
- Pete Warden 谈本地 AI:开权重模型为何正挑战云端前沿模型 — bigdata · 2026-11-19
- 前 DeepSeek 核心成员开源 Linger:本地运行的个人 AI 智能体 — FellMentKE · 2026-11-19
- HyperFlow:14B 压缩版 MiniMax H3,6GB 显存跑视频生成提速一倍 — cgpixel23 · 2026-11-19
- 美限制中企租用海外 Nvidia 芯片,微软却被曝拟向字节增售 OpenAI 模型 — kevinnbass · 2026-11-19
- vikhyatk:行业在 GPU 编译器投入过多,CPU 编译器不足 — mohbibi_ · 2026-11-19