Vicki Boykis DataPhilly 演讲：ONNX 推理下的检索与排序实践
vboykis · x · 2026-10-30
知名数据工程师 Vicki Boykis 在 DataPhilly meetup 上做了关于生产环境推理的演讲，幻灯片已公开。演讲内容覆盖：基于 embedding 的检索与排序、ML 模型 artifact 的制作与推理、通用大模型与小模型的取舍，以及延迟与 ONNX 转换的权衡。
现场问答还讨论了几个实际问题：哪些数据适合 embedding、自托管模型与调用 API 推理的成本权衡，以及模型的数据与架构哪个更重要。她提到 2013 年首次在 DataPhilly 演讲时讲的是数据访问的痛点，此后十多年成为开发者并亲手写过复杂的访问模式。
「研究」频道最新
- 范畴论创始人 Eilenberg 的自动机理论名著被重新推荐：前瞻性至今罕见 — abhi9u · 2026-10-30
- 从零学强化学习：作者连载一页纸 RL 基础笔记网站 — East-Muffin-6472 · 2026-10-30
- 「你的 LLM 评测在骗你」:temperature 0 跑 1000 次得 80 种答案 — irombie · 2026-10-30
- 蚂蚁系 inclusionAI 开源 ZwZ2:免缩放视觉推理,25 项基准全胜基座 — jacek2023 · 2026-10-30
- Epoch 数据：芯片能效年升 40%，AI 算力与电力缺口持续拉大 — teortaxesTex · 2026-10-30
- Soft-MTP 论文:一行代码修复多 token 预测梯度缺陷,全尺度免费涨点 — pmttyji · 2026-10-30