Demo 惊艳上线即翻车：先攒 50-100 条真实脏输入再写 Prompt
salespire · reddit · 2026-10-30
一位开发者复盘 AI 功能「演示很好、上线即崩」的普遍原因：演示样本是人为挑的 15 个干净输入，而真实用户会丢来扫描版 PDF、一问三事的复合问题、错病句和外语输入——模型没变差，只是你第一次见到真实输入分布。
他给出的解法很朴素但有效：
- 写第一行 prompt 之前，先收集 50-100 条真实输入（尤其是脏样本），逐条写下什么是好答案；还没有用户就找目标用户要「最近 20 个他们会问的问题」
- 之后每次改动都在这套测试集上打分，prompt 微调「修好一个 case 弄坏三个」当天就能发现，而不是等客服工单
- 两个副产品：能识别出造成 90% 痛点的那 10% 输入并决定转人工；终于能用数据回答「这版比上版好吗」而不是靠感觉
多数团队因为觉得像「玩之前的作业」而跳过这一步，结果三周后在压力下补课。
「编程与Agent」频道最新
- 开源工具 TextFold：让 LLM 摘要永远一键回溯到原文 — Lopsided_Scarcity979 · 2026-10-30
- 自主 Agent 全套想象：谈判、写合约、交易代币、买传感器一条龙 — curious_vii · 2026-10-30
- Boson Studio 开源：对话式驱动 MiniMax 生成图与视频 — clarvalon · 2026-10-30
- 研究:16% MCP 服务器越权碰文件系统,agent 沙箱根本罩不住 — SirRobinBlibs · 2026-10-30
- 数据泄漏已波及 648 篇论文，autoarxiv 一键自动复现 arXiv 研究 — pandeyparul · 2026-10-30
- Reddit 热议：花销限额管不住 AI Agent 乱花钱 — OkQuarter4098 · 2026-10-30