砍掉解码器直取 softmax：9B 模型本地跑出 100ms 概率输出
telltaleatheist · reddit · 2026-09-23
Reddit 用户 telltaleatheist 分享了一个本地工具 jev，思路是截断 qwen 3.5:9b 的解码（decoding）环节，直接获取 softmax 概率分布，并以 JSON 结构化形式返回 token 概率。作者称全程在本地系统运行，9B 模型响应速度约 100ms 且免费，还可调用模型的视觉塔分析图像。适用场景是需要拿到模型概率分布而非生成文本的应用。
「模型」频道最新
- 用户质疑 xAI 模型 Sol 质量骤降：响应从 10 分钟变 2 秒 — C_then_B · 2026-09-23
- 有人认为 Jev 过热,Diffusion Gemma 才是被低估的真 System-1 — bingxu_ · 2026-09-23
- Opus 5.5 在 Blender 里逐根建模发丝，能力演示惊艳 — majidmanzarpour · 2026-09-23
- Opus 5.5 上线 Perplexity：额度慷慨，导入 skills 自动查 prompt injection — ChrisUniverse · 2026-09-23
- Brundage 玩梗「YouTube Poop 基准」，暗示新模型评测提升 — Miles_Brundage · 2026-09-23
- 机器人任务实测：GPT-6 推理越强操作越好，成本差 30 倍 — YuXiang_IRVL · 2026-09-23