换模型后用户 7 万字符代码被删到 510,平台复盘:锅其实在管线

AdministrativeBad752 · reddit · 2026-10-14

一个 AI 应用构建平台(engineering 负责人自述)的现场复盘:9 月 23 日平台把 builder 切到 GPT-6 Luna 当晚起,一位客户每次编辑后代码量从约 70,000 字符骤降到 8,000、1,400、874、510,客户累计手动恢复 37 次仍未解决。

排查过程

• refine 流程分两步:先由模型规划改动涉及字段(如 js),再全文返回该字段、其余字段用 @@REFINEUNCHANGED@@ 哨兵省略;服务端只校验输出是否是合法应用,不校验是否还是客户原来的应用。
• 第一轮用 Claude Code(只读生产库)5 分钟得出结论:新模型把全文改写成补丁,还调用了不存在的 window.initExistingMicroApp();旧模型每次输出 25,000-45,000 tokens,新模型仅 1,200-8,000,重试机制还放大了损失。
• 作者质疑「你在怪模型」,要求基于全量数据重新分析。

全量数据揭示真相

| 时期 | refine 数 | JS 丢失超 60% | 受影响 section |

|---|---|---|---|

| 旧模型 9/9-9/23 | 3,157 | 45 (1.4%) | 37 |

| GPT-6 Luna 9/23-10/5 | 1,468 | 111 (7.6%) | 67 |

旧模型也踩同一个坑,只是频率低 5 倍;111 个案例中仅 13 个是补丁形态,26 个首次尝试就直接发短重写,78 个经过重试。结论:真正的修复不是换回模型或关闭 targeted 模式,而是对流程加确定性校验(防止输出远小于父版本时静默发布)。修复在报告当天写完并上线。

原文链接 →

「编程与Agent」频道最新

• Claude Code 会话里冒出同事名字,原是多智能体邮件工具命名撞车 — doodlestein · 2026-10-14
• AIPOCH 开源科研工作台：可复现的 AI 研究全流程 — ahuja_priyank · 2026-10-14
• 阿里等发布 LSCBench:vibe coding 代码功能达标却仅 25% 兼安全 — Qwen · 2026-10-14
• sshexport 2.9 发布:用 ChatGPT 审计加固代码,支持 OpenWRT — esrtweet · 2026-10-14
• 瑞典真人秀整季成片被 AI Agent 删光,首播推迟到明年 — torb · 2026-10-14
• EvalSeal 新进展:RFC 3161 时间戳让 LLM 评测回执可第三方验证 — Fit_Fortune953 · 2026-10-14

更多「编程与Agent」频道 AI 资讯 →