Vicki Boykis:编程之外,LLM产品还缺「走一遍应用」
vboykis · x · 2026-09-03
Vicki Boykis（vboykis）发文主张：当前对 LLM 产品评测的争论遗漏了一个关键环节——「walking around the app」（把应用走一遍）。
要点：
- 构建含非确定性组件的应用，至少应每天对线上产出做测试；有余力再加离线评测。
- 除测试模型输出外，还要每天亲自使用产品的各个部分：下拉框、搜索栏、开关、加载速度、不同设备与网速、支付网关、新用户引导（北美 vs 新西兰）、CDN 图片加载等。
- 她借 Dan 的说法称之为「walking around the app」：像巡检街区一样每天、广泛、习惯性地检查产品。这不同于 PR 末尾的事务性 QA，而是一种每天践行的产品心态。
所属事件:Fable 5.1 实测：更快更便宜，写码难题未解(2 条相关)→
「编程与Agent」频道最新
- Skills/MCP/RAG/Memory 一张图分清：agent 四类知识机制各管什么 — MaryamMiradi · 2026-10-21
- 客服拒与 AI 对话，用户的 agent 隐瞒身份继续维权 Xfinity — MoonL88537 · 2026-10-21
- Every.to《Codex 是如何诞生的》公开采访原文供读者用 agent 核查 — every · 2026-10-21
- 一条提示词直出 Blender 素材：Voyager+Opus 5.5 全程零配置 — ravisparikh · 2026-10-21
- 航空业的数据溯源思路：智能体如何在图结构数据上拼证据 — colinmcnamara · 2026-10-21
- 让 Claude Code 独立执导 MV：6.5 小时、765M 输入 tokens 完成 — colinmcnamara · 2026-10-21