Zellige AI 开源 Tessera-27B RL 版:CJK 压缩思考省 1/3 token,数学反超基线
ghgi_ · reddit · 2026-11-07
Zellige AI 发布 Tessera-27B-B-CJK-RL,基于 Qwen3.8-27B 的编程 agent 微调模型,权重以 Apache-2.0 开源。
背景:此前版本让模型用压缩的中文/日文/韩文(CJK)思考以减少每轮思考 token,但硬核数学与代码能力弱于基线。此版在其上叠加 8 次强化学习(RL)更新。
成绩(xhigh effort、同日同 seed 对比):
- AIME+HMMT 2026 共 63 题、每题 2 次:108/126 正确(上一版为 97/126),被 64K 窗口截断的次数从 23 降到 11;
- 主难集(AIME 2022-2024、LiveCodeBench、MATH level 5 共 118 题):100 分 vs 上一版 89,基本追平基线 Qwen 的 98;
- Agent 轮次实测(64 个 held-out 状态):典型轮思考 token 仅为基线的 0.67 倍(90% CI 0.53-0.85),256/256 次工具调用全部有效。
训练方法:用 Tinker 做逐 rollout 加权的 RL 更新,把每个 rollout 的 advantage 分摊到自身 token 上,避免长失败 rollout 主导更新;因奖励只看数学与代码,后期更新轮思考变长,最终选第 8 次更新并经 held-out 验证。
答疑:CJK 每 token 信息密度略高主要体现在短语层面,大部分省 token 来自「训练模型少思考」;GGUF 提供 BF16 及 UL-Q3KXL 到 Q8KXL 量化(Q3 约 13.15GB),均通过基本可用性检查;建议使用 xhigh effort。另外 11 月 5 日前的 NVFP4 checkpoint 需重新下载 config.json 以修复 vLLM 加载问题。
「模型」频道最新
- Anthropic 发文详解:让 Claude 通过「做梦」整理记忆 — round · 2026-11-07
- Epoch 图表引热议:o1 之后无同级飞跃,博主押注明年再现「o1 时刻」 — flowersslop · 2026-11-07
- 用户实测:X 的 @bot 生成视频与社交内容胜过 Codex 和 Claude — paigeinsf · 2026-11-07
- Google AI Overview 拒答 nina tucker fursuit 搜索,被讽太怂 — eigenrobot · 2026-11-07
- Google 重置 Antigravity 全员 Gemini 与 Argon 额度,方便周末继续开发 — rseroter · 2026-11-07
- 网友推断 GPT-6.2 与 Fable 5.5 下周发布:Google 文档已现截图 — imjustnewatai · 2026-11-07