开源 Kev-0.5B:基于 Qwen2.5-0.5B 的决策模型,MacBook 可训练
sull · x · 2026-09-19
jaredpalmer 开源了 Kev-0.5B,一个受 TypeSafe 的 Jev 启发的小型决策模型,权重已发布在 GitHub(已有 121 star)。
- 基于 Qwen2.5-0.5B,加 LoRA 适配器和一个 readout 头,提供 TypeSafe 兼容 API
- 架构上,文档与多个类型化问题打包进一个序列,用块因果掩码让每个问题只看文档互不干扰,一次 prefill 前向就并行输出所有问题的校准概率,无需解码
- pointer head 对每个问题的选项打分后 softmax,概率由带标注结果的交叉熵训练得出,而不是生成文本
- 可在 MacBook Pro 上训练和运行
「编程与Agent」频道最新
- 免费课程：生成式媒体 Agent 的四大生产难题与解法 — Al_Grigor · 2026-11-04
- 额度重置夜：Codex 恢复 100%，Claude 仅剩 10% — rudrank · 2026-11-04
- 自我改进软件不可避免：让应用读取自身信号并自动修复 — bibryam · 2026-11-04
- 攒 7 卡 132GB 显存本地推理机：EPYC 整合还是双平台？ — infectiousstupidity · 2026-11-04
- 50 人 12 国团队:创始人自称与 AI Agent 沟通多过与同事 — Scobleizer · 2026-11-04
- 极简 agent 框架 Pi 发布：四种模式可扩展，附音乐软件语音操控案例 — solyarisoftware · 2026-11-04