日本医生个人三值化 Qwen27B,51.5GB 压到 7.3GB 仍可看图生提示词
udmrzn · x · 2026-10-01
- 日本一位主业为医生的开发者「石ちゃん」发布了 Mitsuba(三葉):对 Qwen3.8-27B 做三值化(ternary)量化的 ComfyUI/VLM 特化模型,体积从 51.5GB 压缩到约 7.3GB(约 14%),据称是日本个人首次完成此类三值化并公开。
- 用途非常单一:看图 → 生成图像/视频生成提示词(配合 Krea 2 等 I2T2I 流程)。相比原模型,图像识别 89.8→87.8,生成提示词达标率 3/10→6/10;代价是编码能力 66→4。
- 使用注意:需 PrismML 版 llama.cpp,建议关闭 Thinking;不适用编码任务,无审查版制作中。
- 讨论者认为「用自定义量化做专用功能模型」是新的方向:专用化后 27B 模型或许 8GB 显存即可运行。
「Infra」频道最新
- 美国 BIS 新规封堵第三国数据中心远程调用 AI 芯片 — teortaxesTex · 2026-11-16
- Qdrant 1.20.1 发布:冷存储读取减半、量化提速 2 倍 — qdrant_engine · 2026-11-16
- 16GB 显卡本地跑通全套 AI:生图作曲配音视频加 RAG 问答 — llama-of-death · 2026-11-16
- Starlink 在希腊护火车防追尾:134 台机车定位精度达 5 厘米 — XFreeze · 2026-11-16
- Google 将 Agent Substrate、gVisor、OpenRL 捐给 CNCF,Agent 运行底座 1.0 GA — dl_weekly · 2026-11-16
- 英伟达丑闻未完:黄仁勋的千亿美元权力网成焦点 — The Verge AI · 2026-11-16