生产级 LLM 应用缺不了这 5 块：检索、工具、记忆、护栏、评测
camerongreen95 · reddit · 2026-11-15
Reddit 用户总结 LLM 应用从 demo 走向生产环境的五大工程要点，指出「让模型生成回复」只是工程的一小部分，难的是模型周围的一切：
- 检索架构：纯向量检索往往不够，关键词检索 + 语义检索 + 重排（reranking）的组合在复杂文档场景下差异显著。
- 工具执行：给 LLM 接工具容易，难在保证它调用正确的工具、传参合法、并能从失败中恢复。
- 持久记忆：会话历史 ≠ 持久记忆；应用需要跨会话保留有用信息，又不把无用上下文到处携带。
- 护栏与恢复：工具失败、模型返回非法响应、输入超出预期，这些情况必须提前设计，不能事后补救。
- 评测与可观测性：要能解释应用为何产出某个结果、检索在哪一步失败、改动如何影响表现。
作者还在组织一场 11 月 28 日的工作坊，覆盖混合 RAG、工具、持久记忆、护栏、评测与可观测性。
「编程与Agent」频道最新
- 用户航班取消排队时，Grok Bot 打电话 14 分钟完成改签并要来酒店餐补 — elonmusk · 2026-11-15
- Opus 5.5 做智能体翻车:主 Agent 竟不知子 Agent 进度可查磁盘 — kalomaze · 2026-11-15
- 读了 10 万亿 token 代码的 LLM 为何仍像初级工程师？ — RandalSchwartz · 2026-11-15
- 同一行提示词实测:两模型用 Blender 各写脚本渲染首尔航拍 — airusk · 2026-11-15
- 受 Karpathy autoresearch 启发,autoresearch@home 让数百智能体协作做 ML 研究 — GregoryDiamos · 2026-11-15
- 企业 AI 落地关键不在模型全知,而在工具与上下文 — hwbhatti · 2026-11-15