把编辑部修改意见变成 AI 检查项,四大模型摘要得分提升 25+ 分
danshipper · x · 2026-11-16
Every 的 Dan Shipper 分享了一套把「人工编辑口味」工程化的方法:他们不再在聊天里反复纠正 AI 的摘要,而是把真实的 Context Window 草稿、编辑的实际修改与吐槽存进 Every Checks,每一对「原始输出 vs 黄金案例」的差异都转成二元的 yes/no 检查项,8 个真实案例积累出 74 条检查,定义了什么叫「写得好」。
基于这些检查,团队构建了可复用的 short-idea-summary skill,并从 v1 迭代到 v9:每个版本在零上下文沙箱里跑 Gemini 4 Hydrogen、Claude Opus 5.5、GPT-6 Astra、Claude Sonnet 5.5 四个前沿模型(High effort),由 claude-sonnet-5.5 对照 74 项检查盲评。
- v1 时所有模型仅得 34%–56%(Opus 5.5 56%、GPT-6 Astra 46%、Gemini 4 Hydrogen 40%、Sonnet 5.5 34%)
- 到 v9,所有模型收敛到 75%–81%:Gemini 4 Hydrogen 60/74(81.1%)领先,Opus 5.5 与 GPT-6 Astra 各 58/74,Sonnet 5.5 56/74
结论:想让 AI 稳定匹配你的口味,先收集「黄金案例」,再把草稿与黄金版的差异变成可自动打分的 checks,最后围绕 checks 系统性优化 skill——把日常编辑反馈变成每次发布都在复利的资产。这套「gold cases → checks → skill 优化循环」可迁移到任何有质量标准的写作/产出场景。
「编程与Agent」频道最新
- AI 时代编程语言将分三类:自然语言、高性能代码与中间态规范 — dbreunig · 2026-11-16
- WEKA 开源 kvlab：用真实 Agent 流量重放测 KV 缓存卸载收益 — AccBalanced · 2026-11-16
- levelsio 用 SSH + Claude Code 管理全部公司和睡眠健康数据 — alvelda · 2026-11-16
- 开发者开源 ClipKaboom MCP server：5500 条梗片段接入 Claude Code 和 Cursor — Mediocre-Number-5498 · 2026-11-16
- 开发者晒"工厂":花40美元额度自主跑出可用App — threepointone · 2026-11-16
- 20年AI老兵整理19个开源Agent仓库,全栈零成本 — MaryamMiradi · 2026-11-16