Zellige AI 开源 Tessera-27B RL 版:CJK 压缩思考省 1/3 token,数学反超基线

ghgi_ · reddit · 2026-11-07

Zellige AI 发布 Tessera-27B-B-CJK-RL,基于 Qwen3.8-27B 的编程 agent 微调模型,权重以 Apache-2.0 开源。

背景:此前版本让模型用压缩的中文/日文/韩文(CJK)思考以减少每轮思考 token,但硬核数学与代码能力弱于基线。此版在其上叠加 8 次强化学习(RL)更新。

成绩(xhigh effort、同日同 seed 对比):

训练方法:用 Tinker 做逐 rollout 加权的 RL 更新,把每个 rollout 的 advantage 分摊到自身 token 上,避免长失败 rollout 主导更新;因奖励只看数学与代码,后期更新轮思考变长,最终选第 8 次更新并经 held-out 验证。

答疑:CJK 每 token 信息密度略高主要体现在短语层面,大部分省 token 来自「训练模型少思考」;GGUF 提供 BF16 及 UL-Q3KXL 到 Q8KXL 量化(Q3 约 13.15GB),均通过基本可用性检查;建议使用 xhigh effort。另外 11 月 5 日前的 NVFP4 checkpoint 需重新下载 config.json 以修复 vLLM 加载问题。

原文链接 →

「模型」频道最新

更多「模型」频道 AI 资讯 →