Elastic AI 副总裁：把搜索看作测试时计算，延迟是可花的预算
gaganghotra_ · x · 2026-11-06
Elastic VP of AI Han Xiao 在 ElasticON AI SF 2026 的演讲《Search is test-time compute》核心观点：自 BERT 以来搜索进步靠更大模型和更多训练数据，但 LLM 的测试时扩展开辟了新轴——推理延迟不是要压低的 KPI，而是一种可以花出去购买相关性和新能力的货币/预算。他引用 Noam Brown（OpenAI）的例子：扑克 bot 思考 20 秒带来的提升相当于模型放大 10 万倍。
在冻结的 encoder 权重上，把延迟预算从 10ms 提到 100ms 能买到什么？他给出三种花法：
- 更深一遍（Deeper pass）：读取已有 pass 的每个 token/patch 向量，挖出 pass 内部的新信息；
- 更多遍（More passes）：对句粒度、图像裁剪等新视图再跑 encoder，从输入中获取新信息；
- 校准（Calibration）：用白化、标签传播、最优传输变换已有向量，利用全局先验。
四个实例：冻结 encoder 上改 score function 提升相关性、开放词表 tagger 给图片打任意标签、reranker 做语义高亮、agent 构建可复用的小搜索管道用于长程任务。他还区分了 TTC 与 training-free：后者是起点，前者研究「更多算力预算能否买到更多」。
「编程与Agent」频道最新
- Inkling 2 Small 自主训练模型：4.5 小时花 426 美元让 Qwen 成绩翻倍 — Scobleizer · 2026-11-06
- Skillry 上架 Anthropic 官网同款 Hero 技能,设计与动画复刻 — yihui_indie · 2026-11-06
- Rust 版 GraphRAG 项目 EdgeQuake 获 2.3k 星,端到端自托管方案 — JeremyCMorgan · 2026-11-06
- DataTalksClub 免费新课：5 周 4 模块学做生产级生成式媒体 Agent — Al_Grigor · 2026-11-06
- 家用摄像头+GVHMR+Blender MCP+Claude,15分钟搞定动捕 — sidahuj · 2026-11-06
- 实测 6 款编码 Agent 断网表现：仅 Atomic Agent 默认回退本地模型满分 — Ok-Brush8377 · 2026-11-06