TypeSafe AI 演示逐行语义搜索：一次请求给 218 行打相关性分

hackgoofer · x · 2026-09-17

作者介绍用 TypeSafe AI 的 Jev 做上下文工程的新思路：不必把整个文档塞进上下文，而是按语义选择性挑出与问题相关的部分。官方 cookbook 以 GitHub 服务条款为例，展示三步搭建语义搜索后端：给每行打 ID，用 Choice 问题对 218 个行 ID 按与查询的相关性排序（概率总和恒为 1，即使没有答案也会强制排序），再用 Noul 问题在同一次请求里判断文档是否包含答案，并配合 exists 阈值把其余情况归类为缺失或部分匹配。文中给出 SDK 安装命令与脚本骨架，JsonCache 可离线回放请求，无需 API key 即可试跑。