Vicki Boykis:编程之外,LLM产品还缺「走一遍应用」
vboykis · x · 2026-09-03
Vicki Boykis（vboykis）发文主张：当前对 LLM 产品评测的争论遗漏了一个关键环节——「walking around the app」（把应用走一遍）。
要点：
- 构建含非确定性组件的应用，至少应每天对线上产出做测试；有余力再加离线评测。
- 除测试模型输出外，还要每天亲自使用产品的各个部分：下拉框、搜索栏、开关、加载速度、不同设备与网速、支付网关、新用户引导（北美 vs 新西兰）、CDN 图片加载等。
- 她借 Dan 的说法称之为「walking around the app」：像巡检街区一样每天、广泛、习惯性地检查产品。这不同于 PR 末尾的事务性 QA，而是一种每天践行的产品心态。
所属事件:Fable 5.1 实测：更快更便宜，写码难题未解(2 条相关)→
「编程与Agent」频道最新
- Claude 官方文档：一句提示词即可去掉「Claude 腔」 — daniel_mac8 · 2026-09-03
- 用 Blender MCP 教机器人小鸭滑滑板，尺寸全由机器人自定 — TinfoilTricorn · 2026-09-03
- NVIDIA 开源工具可提前扫描 AI agent skills 安全风险 — Roger_M_Taylor · 2026-09-03
- Alex Zhang：编码 Agent 已能扮演递归语言模型，只是默认不这么用 — CShorten30 · 2026-09-03
- 斯坦福今秋首开 CS329Z 课程,手把手教从零构建 AI Agent — Diyi_Yang · 2026-09-03
- Apps Script 触达 Gemini 托管 Agent,产物流式写入 Google Drive — rseroter · 2026-09-03