Reddit 老手分享生产环境 LLM 调用日志该记哪些字段
aureliatech · reddit · 2026-11-06
作者踩坑后总结的每次 LLM 调用应记录的字段,超越常见的「只存 prompt+回复」:
每次调用:request id 与 parent id(串联多步流程)、功能名与代码版本、模型与精确版本、prompt 模板 id 与版本(而非仅渲染文本)、输入/输出 token 与延迟、重试次数与错误、原始输出与解析后输出分开存、解析/校验是否失败、用户/租户 id(可哈希)。
事后补填:人工是接受/编辑/拒绝;若编辑,存最终版本——作者强调这是最常被跳过、却日后直接变成 eval 集的部分。
两条实操提醒:注意留存期与 PII,存原始 prompt 前先过数据合规;模板 id 与渲染文本分开存,否则无法定位哪次 prompt 改动引发回归。
「编程与Agent」频道最新
- Google 把 Agent Substrate、gVisor、OpenRL 捐给 CNCF,Agent Substrate 达 1.0 — HowDevelop · 2026-11-06
- 多 agent 同仓库协作研究报告:隔离工作树成本翻倍,合并冲突成最大难题 — weswinder · 2026-11-06
- Codex 凭 computer use 反超 Claude Code：把一切 UI 变成 API — Yuchenj_UW · 2026-11-06
- OpenAI Realtime 负责人 Justin Uberti 将在 VapiCon 首讲 GPT-Live 架构 — juberti · 2026-11-06
- 实测三大 Agent 框架：崩溃恢复会让已批准操作跑两次 — KaleidoscopeNew9259 · 2026-11-06
- AI 自动化上线前先做预演：逐项列出会改动的产品与价格 — shashib · 2026-11-06