Jev 类模型无解码循环、有界输出,或成端侧设备的近乎免费判断原语
signulll · x · 2026-09-19
- signulll 分析 Jev 这类模型的技术特征:没有生成式解码循环、输出有界、可并行推理、有极致压缩/效率激励,因此非常适合跑在端侧设备上,且「很快会发生」。
- 一旦上端侧,可以把「判断」以零边际成本、近零延迟地嵌入几乎所有现有交互:通知、邮件、相机、键盘、主屏、传感器、快捷指令、无障碍等,用户不会再感知 LLM 的延迟。
- 很多对 LLM 来说太贵的问题可被重构为决策判断:该不该展示?是否异常?用户在乎吗?哪个动作合适?这次打断值不值?意图变了吗?界面要不要自适应?
- 结论:这相当于以近乎免费的方式新增了一种计算编程原语。
「Infra」频道最新
- 用 Lambda MicroVM 搭跨设备 AI 编程环境,作者日常使用 — blaizedsouza · 2026-09-19
- 12GB 显存跑 128k 上下文 MoE：两天实测数据与意外结论 — HomoAgens1 · 2026-09-19
- Joseph Suarez 用消费级显卡 5 小时在仓库跑出 SOTA — yacineMTB · 2026-09-19
- MiMo RL 直播算账:infra 重启浪费 33% 有效算力,损失超 40 万美元 — dustinvtran · 2026-09-19
- Pedro Domingos:反对数据中心就是让国家变蠢 — pmddomingos · 2026-09-19
- Pedro Domingos：OpenAI 与 Anthropic 真正的护城河是算力储备 — pmddomingos · 2026-09-19