图解聊天机器人回复前的 3 秒：token 到 RAG 全流程
Ok_Translator_227 · reddit · 2026-11-02
Reddit 长帖从零讲解一个真实客服聊天机器人的完整构建流程，揭示用户消息发出到收到回复之间发生的一切：
- 模型读的是 token 不是词：句子被切成 token 逐个预测，受 context window 限制，每个 token 都计费，成本与速度从第一天就是设计考量。
- 模型什么都不记得：每次发消息都会把整段对话历史一并发送，「记忆」是开发者造出的幻象；对话过长时需摘要或裁剪。
- 数据切块与嵌入：PDF/政策文件被切成 chunk，转成 embedding 存入向量数据库；块太大答案浑浊，太小语义被切断。
- 检索（RAG）：用户问题同样向量化，找出语义最近的 3-5 个 chunk，要求模型「只根据这段文本回答」，以减少编造。
- System prompt：随每条消息发送的固定指令，决定人格、语言、边界和答不上来时的行为，措辞极其重要。
- 工具调用：模型本身做不了任何事，只能回复「我想调用工具 X 及参数」，由代码实际执行并回传结果。
- 安全与评测：上线前用数百个问题测准确率，防诱导，上线后持续监控。
结论：每一步都是判断题，任何一步走错都能毁掉整个体验，再好的模型也一样。
「编程与Agent」频道最新
- 开发者放手上路:Agent 全自动修出 0.6.83 版本发布 — jasonkneen · 2026-11-02
- OpenCode 10 月月活涨 28% 至 2200 万,创 3 月以来最大增幅 — ycombinator · 2026-11-02
- 用 Claude 写的等距像素小游戏开源:零依赖单文件软件光栅化 — algo_diver · 2026-11-02
- 重度用户晒月账单:78 亿 token,折合 API 花费约 4800 美元 — bytebot · 2026-11-02
- LLM 自信答错退款期限，开发者用 4 步 RAG 流水线修复 — _jaydeepkarale · 2026-11-02
- 开发者用 three.js 和 Claude 一个周末造出 MetaHuman 开源替代 — majidmanzarpour · 2026-11-02