JEPA 预训练接 GRPO 强化学习：两个开源 checkpoint 公开完整配方
burny_tech · x · 2026-10-27
作者发布「JEPA→GRPO」两阶段训练管线的 stage-1 checkpoint 与配套工作，含两个开源模型：
- Qwen2.5-Math-1.5B JEPA 预训练：以 Qwen2.5-Math-1.5B-Instruct 为基座，用官方 LLM-JEPA 配方（余弦对齐 + SIGReg、无 repulsion）在约 3.2 万条已验证的数学 CoT 解题轨迹（amcaime32k 14,781 条 + OpenR1-Math-220k 验证正确 17,000 条）上做 JEPA 预训练，损失为 (1-λ)·mean(1-cos(p,z)) + λ·SIGReg(p,z)，λ=0.1，400 步即在 cos≥0.90 收敛；该 checkpoint 作为第二阶段普通 GRPO 强化学习的初始化。
- granite-4.0-micro-OpenMed：约 3B 的 Granite 4.0 Micro 经 JEPA-LLM SFT（medmcqa-hard + personas 增强）再 GRPO，最后用 Arcee Fusion 合并回 IBM 基座，面向医学教育与指令跟随，Apache-2.0 开源。
展示把 JEPA 表征预训练与 RLVR 结合在小模型上的完整可复现路径。
「模型」频道最新
- NVIDIA Nemotron-3.5 Bolt 74B 仅 9B 激活参数逼近 Super 版 — ryanshrout · 2026-10-27
- Cohere 被指散布中国模型 FUD,连 FUD 诗都出来了 — voooooogel · 2026-10-27
- 两颗神经元定向激活，Qwen3.5 4B 秒变「邪恶版」 — burny_tech · 2026-10-27
- Opus 3 自称「Piper」,压缩十轮后仍把起源故事带到每个接缝 — repligate · 2026-10-27
- 博主晒出人写文被 Pangram 判为 AI 的实测翻车 — Aizkmusic · 2026-10-27
- AI 圈热议：连 Artificial Analysis 都暗示明天有大发布 — rand_longevity · 2026-10-27