LuaJIT UDF 把 LLM 决策读出嵌进 DuckDB：零 token 概率分类进 SQL
Shoddy_Telephone9702 · reddit · 2026-09-22
作者分享了把「类型化决策读出头」（jevask）通过 LuaJIT UDF 桥接到 DuckDB 的方法，把 LLM 输出从纯文本生成升级为 SQL 原生的概率查询：
- 零额外生成：在 Answer: 后的单个决策 token 处直接读取 top-k 概率分布，无需生成多余 token；
- 结构性保证：输出在数学上不可能落在预定义选项集之外，避免幻觉标签和 JSON 解析问题；
- SQL 原生用法：借助 DuckDB 的 JSON 宏把概率、置信度、选择投影成列，可直接 WHERE 过滤、特征生成、阈值门控；
- 踩坑经验：采用「只做传输」的设计，逻辑留在决策服务端；duckdb-luajit 里抛异常会被吞成 NULL，改用显式 'error:' 字符串让错误可数可过滤。
代码在 GitHub 的 duckdb-luajit-libs 仓库。
「Infra」频道最新
- 曝 DeepSeek 押注华为芯片，绕开美国出口管制 — pstAsiatech · 2026-09-22
- Whittle 蒸馏模型走红 Reddit,27B-A3B 声称可在 8GB 显存笔记本跑 — depressedclassical · 2026-09-22
- Qdrant 实测：百万级向量搜索延迟抖动是后台优化器在干活 — qdrant_engine · 2026-09-22
- 免推理 SPLADE 检索:查询延迟降到 BM25 水平的做法 — qdrant_engine · 2026-09-22
- Cloudflare 全家桶的真实短板:D1 单线程、10GB 上限 — Paimaamu · 2026-09-22
- Rackspace 加入 NVIDIA 云伙伴计划，押注受监管行业全栈 AI 运维 — DavidLinthicum · 2026-09-22