健身 App 独立开发者复盘：LLM 答差的根因多在上下文而非模型

Aksel_010 · reddit · 2026-11-07

Lyfto（健身记录 App 内置 LLM 教练）的独立开发者复盘了最差回答的排查结论：几乎全部源于自己构造的 prompt/上下文，而非模型本身。他总结了五条可复用的教训：

缺失事实会被「最近似」事实顶替：上下文只标了 bench PR 的日期，没写「上次训练 bench 是何时」，模型就拿 PR 日期搪塞。修复：显式区分「最后训练时间」和「PR 创造时间」。
「原始日志里有」不算数：完整训练日志都在上下文里，模型仍无法可靠聚合。凡是答案依赖某个数字，就先算好放进 prompt。
手工维护的两个 prompt 会漂移：首页一句 coach tip 与聊天用不同 prompt 生成，用户点进 tip 追问时聊天 bot 否认说过。修复方向是把 tip 的事实传入聊天上下文。
模型会模仿 prompt 示例的格式：示例标题后的长破折号被复制到所有回复，事后剥离会破坏句子。应在 prompt 里改示例，而非清理输出。
成本上限设三处：per-user 日限额、全局日限额、厂商侧消费上限——第三层是代码出 bug 时的最后保险。

「编程与Agent」频道最新