网友自研开源版 Jev:笔记本 CPU 上实时运行,用 Qwen 软标签替代 RL
frjj-slm · reddit · 2026-09-30
Reddit 用户 frjj-slm 因找不到适合 CPU 推理的开源版 Jev,自己复刻了「Jev at Home」。
- 在 AMD Ryzen AI 9 HX PRO 370 笔记本 CPU 上可实时运行(大尺寸模型除外)
- 架构适配与后训练方法参考了 Laya 的 MLM 方案,但用 Qwen3.5-4B 教师模型的软标签蒸馏替代了 RL 训练,理由是仅为了抑制模型过度自信用 RL 太重
- 仓库与模型权重、后训练决策数据集均已开源(GitHub + Hugging Face)
「Infra」频道最新
- 投机解码新招 SwitchSD 入选 NeurIPS:用隐藏状态决定何时直接抄上下文 — arankomatsuzaki · 2026-09-30
- 韩国 Rebellions NPU 获 ai& 大单：单芯片 2048 TFLOPS、144GB HBM3e — DavidBennett__ · 2026-09-30
- 自建模型预测美光季度营收 562 亿美元,高出官方指引 12% — tengyanAI · 2026-09-30
- 分析师称存储已成 TAM 扩张市场,估值瓶颈在周期信念 — BenBajarin · 2026-09-30
- 爆料称 AMD MI455 定价 2.8 万美元,432GB HBM 成本就达 1.2 万起 — zephyr_z9 · 2026-09-30
- 英伟达 GPU 折旧年限幻灯片曝光，看空者最担心的一页 — firstadopter · 2026-09-30