两周自建 AI 模型使用基准：5 个任务测 6 项可观察指标
shashib · x · 2026-11-16
Shashi Bellamkonda 提出一套「使用基准」方法论：不看技术排行榜，而是用自己的日常工作实测 AI 模型——用 5 个 recurring 任务、两周时间、6 项可计数指标给各模型打分。
六项指标：
- 修改时间：从首个输出到可发出之间的计时（分钟）
- 编造事实：抽查 10 个输出中的具名事实，记录错误数
- 规则保持：给 10 条书面规则后写长稿，看最后三分之一还遵守几条
- 反驳能力：在 prompt 里埋一个错误（如错误发布日期），模型能否指出
- 时效性：问一个 24 小时内上线的页面，能否找到
- 回用率：第 14 天查浏览器历史，看最终回头用的是哪个工具
作者强调分数因人而异（任务不同），所以鼓励读者自己跑。所需工具只有表格和计时器。
「研究」频道最新
- Chollet 称推理链生成是搜索，网友追问插值还剩什么 — teortaxesTex · 2026-11-16
- 研究：分解式输出层让小模型在同等算力下用上 131k 词表 — BLCNYY · 2026-11-16
- Terence Tao：数学已从证明稀缺进入证明过剩时代 — haider1 · 2026-11-16
- 16641 例临床决策分析：错误 AI 建议对医生的伤害大于正确建议的收益 — ValerioCapraro · 2026-11-16
- 免费在线书《The Science of Computing》:从偏微分方程讲到缓存与内存性能 — burkov · 2026-11-16
- 受控实验：语音联合从头训练始终优于分离式预训练 — giffmana · 2026-11-16