TensorSharp 结构化读取让本地决策 API 快 3.3 倍且零解析失败
fuzhongkai · reddit · 2026-09-24
TensorSharp 维护者发布重大更新：本地实现 Jev 核心决策 API（noul/choice/score 三类决策），并通过可选 images 字段扩展到图像分析，单请求最多支持 8 张内联图片，图像嵌入直接进入结构化决策路径，无需「先描述再分类」的中间步骤。
核心方法：受 vLLM PR #57250 启发，采用一步式结构化读取——prompt prefill 后直接从 answer canvas 读取标签 logits，由服务端序列化为 JSON，模型无需逐 token 生成概率 JSON；共享同一 canvas 的问题可共用一次前向传播。
实测对比（12 案例 × 3 重复，与同后端的 LocalJev 生成 JSON 方式对比）：
- 有效请求 36/36 vs 27/36，schema 校验失败 0 vs 9
- 正确决策均为 108/108（有效响应内）
- p50 延迟 2.877s vs 10.479s，27 个匹配成功请求的中位延迟比 3.345×
- 平均输入长度 192.7 vs 589.6 tokens（端到端工作流对比，非同 prompt 内核基准）
作者明确说明这些是纯文本结果，不声称图像场景有同等加速。可用 DiffusionGemma Q4KM GGUF（约 2.8GB 视觉分片）本地运行。
「编程与Agent」频道最新
- Claude Code 云端会话正式上线,Pro/Max 用户获 $100/$250 试用金 — jarrodwatts · 2026-09-24
- SWE-Together 榜单审计:111 次试验绕过拦截,Grok 4.7 重跑后排名上升 — elonmusk · 2026-09-24
- alphaXiv OpenResearch 接入 PubMed，可检索 4000 万篇生物医学论文 — DeryaTR_ · 2026-09-24
- GPT-6-Sol 像素画测试改用 PixiJS 渲染器，效果大幅提升 — burny_tech · 2026-09-24
- Claude Code 云端会话正式上线：合盖也能继续跑，Pro 送 $100 额度 — ClaudeDevs · 2026-09-24
- 只用 30 行 JavaScript 代码在 HTML canvas 上「画出」生物学梦境 — nc_frey · 2026-09-24