3000 万参数模型跑在 Postgres 里,召回率媲美 0.6B 嵌入模型
bdsqlsz · x · 2026-10-09
Evoke 今天开源:一个仅 3000 万参数的模型,可在 CPU 上直接于 Postgres 内运行。在 top-100 召回率上与 0.6B 参数的稠密嵌入模型差距仅 0.004,且在 top-1000 中能召回更多相关结果,展示了一条极致轻量化的语义检索路线。
「Infra」频道最新
- TokenRouter 实现 token 级 LLM 路由服务,解码吞吐提升最高 64 倍 — nics-efc · 2026-10-09
- SparseDecoding 解码感知剪枝:对齐生成分布,A100 解码提速至 1.48 倍 — encodelab · 2026-10-09
- Arduino VENTUNO Q 上用 FEX 跑 x86 版 Edge,还有 GPU 加速 — unixterminal · 2026-10-09
- Edge0 开源月余：35B 模型 iPhone 飞行模式运行，峰值内存仅 1.8GB — FinanceYF5 · 2026-10-09
- 免依赖 CLI 直接跑 Qwen Image 2.1 与 MiniMax H3,模型自动下载 — TracerBulletX · 2026-10-09
- llm-tune 开源:一键为本地 LLM 找最优量化与推理参数 — Distinct-Pie2389 · 2026-10-09