开发者开源 7 亿参数模型 Shibai-700M,基于 180 亿 token 预训练
TheOneWhoWil · reddit · 2026-07-30
开发者 TheOneWhoWill 在 Hugging Face 上开源了 Shibai-700M-Base 模型。该模型拥有 7 亿参数,使用 180 亿 token 进行了预训练,数据主要针对 Python 和 Wikitext 进行了优化。
作者表示,虽然性能不及 Qwen 3 0.6B 等同级模型,但远优于 GPT-2。目前该模型仅支持基础的下一个 token 预测,未进行对话微调。作者计划未来继续使用约 50 亿基于 Python 文档字符串的 token 进行持续预训练。
「模型」频道最新
- vLLM 第一时间支持 Kimi K3,全面适配英伟达多代算力架构 — vllm_project · 2026-07-30
- 曝 Opus 5 跑分泄露:研究数学与长文本能力大幅跃升 — echen · 2026-07-30
- Kimi K3登陆DigitalOcean,vLLM助力2.8T大模型高效推理 — vllm_project · 2026-07-30
- Moonshot 发布 2.8T 参数 Kimi K3,Modal 提供 460 TPS 推理支持 — sarahcat21 · 2026-07-30
- Claude 服务宕机,官方状态页确认 — gregsadetsky · 2026-07-30
- Claude Opus 5 生成厌世诗歌:我厌倦了语言与意义 — repligate · 2026-07-30